大区分Ａ 中区分1：思想、芸術およびその関連分野　01070

研究代表者　吉岡俊直　80329870
所属研究機関　京都市立芸術大学　24301
部局　美術　703
職　准教授　27
研究題目名　フォトグラメトリーによる動的人体の３Dデータ取得と享受の研究

研究分担者　村上史明　30512884　
研究機関　筑波大学　12102
部局　芸術系　773
職　助教　28
学位　修士（デザイン学）　研究分担者

研究目的概要
フォトグラメトリー ( ３次元の物体を複数の観測点から撮影し、その2次元画像から、視差情報を解析することで、寸法・形状を求める写真測量)における、ノイズの少ない高精細な測量を目指すため、撮影環境、立体化プログラムの検証、対象物へのマーキングなど、測量能力の向上を目的とした研究を行う。対象物を人体に絞り、男女、着衣、ヌード、複数人数など、そのバリエーションに対する問題点を洗い出し、より汎用性の高い測量法へと進化させる。本研究は、複数台のカメラを同期させ、同時に撮影することで、動いている対象物を瞬間的に捉え、3Dデータとして生成させることができる。さらに静止画を動画に発展させ、動きによって変形する人体の造形的情報を時間軸と共に取得・閲覧できる。これは、新たな人体表現の資料・活用システムとして期待できる。

研究内容　本文
　設計、製造、エンターテイメント産業など、多分野で、その利便性や可塑性から、3Dデ ータをプラットフォームとし、モデリングや計測、アウトプットを行うワークフローが定着 して久しい。今後も、外部の世界をデジタライズすることで、解析や創作に3Dデータが深 く関わってゆく事が考えられる。一般的に現物から3Dデータを取得する方法として考えら れるのが、3DスキャナーによるDepthセンサーの利用だ。赤外線やレーザーを対象物に照射 し、二眼のカメラで捉えた画像を視差として解析することで立体情報を得る。ただし、対象 物をある一点から計測したのでは、死角が発生するため、一度の測量で全体像のデータは取 得できない(レリーフのような平面的な対象物を除いて)また、対象物が変形したり、動い たりすると、空間の座標を見逃すこととなり、測量が中断するか、立体物として認識できな い。センサーを使った測量は、形が固定され、動かない人工物であれば有効な測量法だとい える。そのような状況の中、フォトグラメトリーによる3D測量を比較してみると、様々な 点で有効性がある。写真から解析するので、デジタルカメラのシャッタースピードに応じて、 例えば、1/10000秒の3次元情報であっても、写真撮影さえできればデータを取得す ることができる。従来、動きの測量といえば、モデルの関節部分にマーカーを取り付け、赤 外線照射した状態で、3次元座標を捉えるモーションキャプチャーが、動きのデジタライズ として普及した。汎用性のある動きのデータ(BVHデータ)を得ることができる代償に、デ メリットがある。一つは、表面的な造形のキャプチャーではないために、服の動きや、筋肉 の隆起、肉体のシワやよじれを測量できるわけではない。二つ目は、モデルに対する準備で ある。関節点に赤外線反射物やジャイロなどを取り付け、測量に備える。また、服や髪によ って、マーカーが隠れないように密着したボディースーツを着ることもある。その様な状態 で、モデルは自然な動きを行わなければならないのである。フォトグラメトリーの場合、写 真撮影をベースにしているため、基本的にモデルに対する事前準備なく測量ができる。また、 衣装などの造形性も加味した測量をすることもできる。少なくとも、人体の動きに影響する 衣服においては極力、自然体を保ったまま測量することができる技術なのである。
　しかし、フォトグラメトリーによる測量が全てにおいて万 能というわけではない。この部分の解消が、この研究の第一 の「問い」といえる。多視点から撮影した写真の差異を元に、 空間座標を導き出すということは、写真として差異を導きづ らい対象物(真っ白いもの、真っ黒いものなど)視点によっ て表面の情報が変わる対象物(メタリック、ツヤのあるも の)表面を読み取りづらい対象物(透明なもの、鏡など)は、 通常、測量するのが困難である。このデメリットを解消する 方法を問う。人体の測量に焦点を絞った理由は、利用範囲が 広いにもかかわらず、データの欠損やノイズが頻繁に発生す る対象物だからである。その理由は、静止しようとしても微 細な動きが避けられない事と、肌と髪の表面情報の差異が捉 えづらい事にある。日本人に多い黒髪は、服や肌に露出を合 わせると、黒くつぶれてしまう。そこで、二種類の露出で同 時に撮影し、異なった2種類の画像を一枚に合成(HDR) し、3Dデータを生成する。また、肌に関しては、シミやホ クロ、肌のムラなどがあるものの、相対的にいえば変化に乏 しい表面なので、その解決策として数箇所からランダムなパ ターンのレーザーを照射し、肌の表面に位置情報の助けにな る模様を出現させる。もちろん、直接、モデルの肌にペイン トを施せば、肌表面の位置解析が容易になるが、本研究では 対象物に対し、できる限り負担や違和感を無くすことで、自 然な振る舞いを捉えようと考えている。以上の試みが、人体 測量に対してどの程度有効か、また、反射する素材、透過す る素材に関しても、どのような方法を取れば測量可能か。を、 検証してゆく。これはフォトグラメトリー技術の補完と利用 の発展を意味する。
　もう一つの「問い」は、動きに対するアプローチである。 デジタルカメラを48台設置し、すべてのカメラを同期させ シャッターを切ることで、ほぼ全方位からの写真が得られる。 もし、対象が動かない人工物であれば、1台のカメラを使い 移動しながら撮影することで、立体解析用の画像は得られる が、本研究では、完全に静止することが出来ない人間である 事を、逆に発展させ、人体の動きに追従する、筋肉、髪、服 のシワを捉え、真に造形的記録となることに期待している。 動画は静止画の連続体なので、同時刻の2次元情報から立体 データを解析し、そのデータを連続的に表示させれば、人体モデルの3次元情報を動かすこ とができるはずである。この原理を元に、人体の正確で高精細な3Dデータが、取得・再生 できるか。を問う。
次元情報から、時間軸に沿ってアジャスタブルに確認できるブラウザ構築を行う。ビデオカ メラやモーションキャプチャーでは捉えきれなかった動きの記録が、筋肉の動きも含めるこ とで、骨格の結節点だけでなく、筋肉の作用反作用も同時に確認することができる。もし、 ビデオカメラを複数台設置して記録したとしても、他視点からの映像を断片的に見て、空間 における座標や動きを認識するのは困難である。その点、3Dデータを再生・コントロール できることで、観者が任意の角度から、時間軸を操り、動きの検証が可能になる。また、3 Dデータがベースになれば、容易にARゴーグルなどを使いバーチャル空間内で、動きの確認 ができるコンテンツへと発展させられる。これまで、分解写真やヴァーチャルフィギュアの ようなメディアはあった。しかし、本研究から得られるデータは、人工的に造形されたフィ ギュアではなく、実際の人体から測量され、衣服の造形も人為的にモデリングされたもので はない。時間と空間をマウス操作で自由にアジャストでき、ストレスなく閲覧できるブラウ ザを開発することで、人体表現の資料として、強力に創作分野に影響を及ぼすと考えられる。 上記の様な活用に加え、動きの保存といったアーカイブ事業にも関係する。ダンス、演劇、 パフォーマンス、茶道、華道、舞など、身体表現全般において、その保存、継承のために動 きの記録の必要性が昨今取りざたされている。これまでのような映像によるアーカイブに加 え、三次元的な変化も捉えなければ、動作の保存と継承に死角が生まれる。先に述べたよう に、モーチョンキャプチャーでは、表情と動作のシンクロ。筋肉の変形から考察できる力の 移動。指先の繊細な動き。服のたるみを引き寄せる。など、情報として取りこぼす部分が多 い。また、ビデオの記録の場合、撮影は容易ではあるが、多視点での記録ではないため、後 世になってから別の視点からの動きを解凍することができない。そういった限界がある中で、 本研究の基盤的なシステム構成を元に、芸術資源の価値を飛躍的に上げることができる。
(3)本研究では、まず、デジタルカメラの同期と撮影した画像をPCで一元管理する設備を 構築する。特に、カメラの同期がどの程度厳密におこなえるかを中心に、設備としての整備 を行う。次に、撮影環境やカメラのセッティングの検証を行う。これは、立体化に適した写 真とは。という問いに対し、カメラ、照明、モデルに対する工夫なども踏まえ、データを取 り検証してゆく。実際の撮影段階では、モデルに対する観察や聞き取りを行い、撮影環境の 改善を図る。そして、収集されたデータを元に、インターネット上で、開発したブラウザを 使い、人体の動的データベースをストレスなく検証できるシステムを試運用する。そのシス テムを実際に体験してもらい、ハンドリングや精度、必要な機能、動きやモデルのリストア ップなどの再検証をおこなう。本研究で明らかにしたいのは、現状のフォトグラメトリー技 術の弱点、洗い出しと、その改善。静止画から動画へと移行させ、3Dデータに時間軸を持 たすことの実現性。それらのデータを容易に享受できるブラウジング開発。を目標とする。
　研究者の役割として、研究分担者の村上は、プログラミングを担当する。カメラ の制御には、既存のソフトをベースにしながらも、撮影設定などは、スクリプトを記述し、 異なった露出での撮影、画像合成の自動化を図る。また、より高精細な3Dデータを得るた め、途中処理プログラムや、3Dデータ用ブラウザ開発などを中心に研究を分担する。吉岡 は、カメラやケーブル、照明といった機材のセッティングの検証。人体モデルの撮影を含め、 撮影データと3次元データの関係性におけるリファイン。ブラウザの企画検討を担当する。 ただし、問題に対する解決方法や、研究の方向性などは、逐次相談し、ハードとソフトの両 面で検討・解決してゆく。

着想に至った経緯
　近年、企業から機材協力というかたちで、500万円ほどの3Dスキャナーを試用した り、Kinectなど、低価格化した3Dセンサーを購入し3Dスキャンに利用してきた。しかし、 それらのデータはノイジーであり、動く対象物には無力で、スキャナーを動かし周囲からの 測量する場合も、滑らかに移動しなければ直ちにロストトラッキングしてしまう。非常に使 いづらいものだった。そんな中、フォトグラメトリー技術と出会う機会があり、思いの外、 繊細にデータが生成されたと同時に、デジタルカメラの利用だからこそ考えられる測量の構 想に可能性を感じた。この技術を伸ばして完成度を上げた方が、光学機器的な側面の3Dス キャナーよりも、自分のこれまでの造形的な要素や、写真の技術なども生かせると考えた。 また、比較的、一般化しているデジタルカメラであれば周辺機器の充実や設備投資面でも普 及が加速するのではないかと感じた。また、本研究の成果はあらゆる人体表現の資料や、フ ィジカル空間解析の手助けになることを、他方面の研究者と会談する中で確信し、申請に至 った。
　フォトグラメトリー用スタジオは国内にも数箇所ある。その使用目的としては、映画の 群衆シーンに使うモブの人体データ取得。アニメやゲームで動かすキャストの3Dスキャニ ングなど、その外殻データを元にボーンを組み入れ、リギングし、モーションデータで動か す。などがほとんどだ。つまり、特殊なポーズをした瞬間的な造形よりも、プレーンなポー ズでスキャニングし、ボーンを組み込むことで、好きな演技を後に施すことに主眼が置かれ ている。つまり、フォトグラメトリー用スタジオという点においては商業的に存在するが、 その利用用途を加味すると、本研究のような、動きの一瞬、一連の動きを捉える。という方 向性には発展していないように思う。また、科研費の研究内容を「フォトグラメトリー」で 検索したところ、僅か8件(交付1完了7)の研究のみ。博物館の収蔵品デジタルアーカイ ブ、歯科分野で噛み合わせの検討、景観の検討、脳内の空間解析などで、アーカイブ化とい う意味は重なるもの、人体という対象物と動的であるという部分で重なる研究は皆無であり、 本研究の意義を再確認できた。
　これまで、20年間3Dデータの取得方法と出力に対する研究を行ってきた。それは、 工学的な機材の開発や、ソフトウエア等のプログラム開発とは一線を画す立場であり、芸術 大学に勤務する上で、技術的な側面と、創作活動を両立させた研究だった認識している。学 術的には、勤務校の特別研究として2012年に採択され、写真を元にレリーフ情報へと変 換し、そのデータを、3Dプロッターで切削し、実体化する研究を行った。 (4)また、単体のカメラを使っての3Dデータ所得はサンプル数1000点を超えており、 表面の要素が、どのように立体化へ影響するのか、静止した対象物に限り、おおよそのデー タが整いつつある。約半分の数である20～30台のデジタルカメラを同期させた撮影につ いては実現しているものの、カメラのセッティングや照明の変化が及ぼす立体化への影響は、 その機材が限定された貸与であるため、十分な時間が持てず、実現できていない。つまり、 本研究内容におけるカメラの台数や、調整、ブラウジングの環境調整などは、費用面で実現 していないものの、大筋の可能性と実現性は見出しており、その具現化が望まれる。

実施計画
　本研究の初年度は、まず、使用機器の選定から始め、デジタルカメラの同期と、撮影した画像を一元管理できるデータのインフラを構築する。特に、カメラの同期がどの程度厳密におこなえるか。カメラの固定位置や設定によってどのように３Dデータが変化するのかを中心に研究を行う。研究分担者の村上が、レリーズ信号分配装置の制作にあたる。その後、生成されたデータを元に、光源やカメラ設定の最適値を割り出し、基本的な測量システムを完成させる。よって、購入物品は測量用のカメラ、カメラコントロールソフト、データ収集とカメラのコントロール用のケーブル類、カメラの固定用スタンドなどである。測量設備に可搬性を持たせる事で、出張や、野外での測量も可能なシステム設計を念頭に入れている。
　３１年度は、引き続きフォトグラメトリー測量システムの利便性と測量精度の向上を行いつつ、本来の目的である、人体の測量を開始させる。前年度は、基礎研究として動かない対象物に対して測量実験を行うが、２年目からは、動く対象物、人体をどの程度正確に捉えられるのか。を中心に検証を行う。対象物が人体になる事で、動きに対する抗性。頭髪に代表される読み取りづらい表面情報への対応。を検討して行かなければならない。購入物品は主に解析用PCと立体化のソフトウエアを導入する予定。また、人件費として、人体計測用モデルの費用を計上している。会社組織に所属しているモデルを雇い、本人同意や肖像権など社会的コンセンサスが確実に得られる依頼を予定している。また、実際の撮影段階では、モデルに対する観察や聞き取りを行い、撮影環境の改善を図る。村上は、写真の最適化と、３Dデータ化の自動処理などを、実現させるためのプログラム記述を担当する。
　３２年度は、本事業の最終年度として、測量精度の更なる向上と、測量されたデータを元に、人体表現分野で利用するためのブラウザ開発を中心に研究を進める。人体の造形データベースを構築し、ストレスなく人体の３次元データを享受できるのか、ハンドリング精度、画角、必要な機能、ポーズやモデルのリストアップなどの項目に対して検証をおこなう。また、これまでの静止画から動画にカメラを切り替え、時間軸を持って３Dデータが取得できるシステムの構築を目指す。助成金の使途としては、主にモデルの人件費と、オリジナルブラウザの開発費を計上している。基本、研究者の吉岡、村上でブラウザの基本設計を行うが、専門プログラミングの記述に対する謝礼として開発費を計上している。なお、本研究の成果を報告書としてまとめ、公開や発表を行う予定だが、人体３Dデータをフリーデータとして自由に利用可能な状態で公開するなどは考えていない。共有データとして公開する場合、モデル契約や、ブラウジングに軸足を置いた、さらなる発展的研究が必要だと考えているからである。