研究成果報告書
１．研究開始当初の背景
　近年、企業から機材協力というかたちで、500万円ほどの3Dスキャナーを試用したり、低価格化した3Dセンサーを購入し3Dスキャンに利用してきた。しかし、それらのデータはノイジーであり、動く対象物には無力で、スキャナー自体を動かし周囲から測量する場合も、滑らかに移動しなければ直ちにロストトラッキングしてしまう。非常に使いづらいものであった。そんな中、フォトグラメトリー技術を試用する機会があり、思いの外、繊細にデータが生成されたと同時に、デジタルカメラの利用だからこそ考えられる測量の構想に可能性を感じた。この技術を利用し測量精度を上げた方が、光学機器的な側面の3Dスキャナーよりも、自分のこれまでの造形的な要素や、写真の技術なども生かせると考えた。また、比較的、一般化しているデジタルカメラであれば周辺機器の充実や設備投資面でも普及が加速するのではないかと感じた。また、本研究の成果はあらゆる人体表現の資料や、フィジカル空間解析の手助けにもなることを、他方面の研究者と会談する中で確信し、申請に至った。
フォトグラメトリー用スタジオは国内にも数箇所ある。その使用目的としては、映画の群衆シーンに使うモブの人体データ取得。アニメやゲームで動かすキャストの3Dスキャニ ングなど、その外殻データを元にボーンを組み入れ、リギングし、モーションデータで動かす。などがほとんどだ。つまり、特殊なポーズをした瞬間的な造形よりも、プレーンなポーズでスキャニングし、ボーンを組み込むことで、好きな演技を後に施すことに主眼が置かれている。つまり、フォトグラメトリー用スタジオという点においては商業的に存在するが、その利用用途を加味すると、本研究のような、動きの一瞬、一連の動きを捉える。という方向性には発展していないように思う。また、科研費の研究内容を「フォトグラメトリー」で 検索したところ、僅か8件(交付1完了7)の研究のみ。博物館の収蔵品デジタルアーカイブ、歯科分野で噛み合わせの検討、景観の検討、脳内の空間解析などで、アーカイブ化という意味には重なるものの、人体という対象物と動的であるという部分で重なる研究は皆無であり、 本研究の意義を再確認できた。
これまで、20年間3Dデータの取得方法と出力に対する研究を行ってきた。それは、工学的な機材の開発や、ソフトウエア等のプログラム開発とは一線を画す立場であり、芸術大学に勤務する上で、技術的な側面と、創作活動を両立させた研究だった認識している。学術的には、勤務校の特別研究として2012年に採択され、写真を元にレリーフ情報へと変 換し、そのデータを、3Dプロッターで切削し、実体化する研究を行った。また、単体のカメラを使っての3Dデータ所得はサンプル数1000点を超えており、表面の要素が、どのように立体化へ影響するのか、静止した対象物に限り、おおよそのデータが整いつつある。約半分の数である20～30台のデジタルカメラを同期させた撮影については実現しているものの、カメラのセッティングや照明の変化が及ぼす立体化への影響は、 その機材が限定された貸与であるため、十分な時間が持てず、実現できていない。つまり、 本研究内容におけるカメラの台数や、調整、ブラウジングの環境調整などは、費用面で実現していないものの、大筋の可能性と実現性は見出しており、その具現化が望まれる。

２．研究の目的
フォトグラメトリー （３次元の物体を複数の観測点から撮影し、その2次元画像から、視差情報を解析することで、寸法・形状を求める写真測量技術）における、ノイズの少ない高精細な測量を目指すため、撮影環境、立体化プログラムの検証、対象物へのマーキングなど、測量能力の向上を目的とした研究を行う。対象物を人体に絞り、男女、着衣、ヌード、複数人数など、そのバリエーションに対する問題点を洗い出し、より汎用性の高い測量法へと進化させる。本研究は、複数台のカメラを同期させ、同時に撮影することで、動いている対象物を瞬間的に捉え、3Dデータとして生成させることができる。さらに静止画を動画に発展させ、動きによって変形する人体の造形的情報を時間軸と共に取得・閲覧させる。これは、新たな人体表現の資料・活用システムとして期待できる。

３．研究の方法
設計、製造、エンターテイメント産業など、多分野で、その利便性や可塑性から、3Dデータをプラットフォームとし、モデリングや計測、アウトプットを行うワークフローが定着して久しい。今後も、外部の世界をデジタライズすることで、解析や創作に3Dデータが深く関わってゆく事が考えられる。一般的に現物から3Dデータを取得する方法として考えら れるのが、3DスキャナーによるDepthセンサーの利用だ。赤外線やレーザーを対象物に照射し、二眼のカメラで捉えた画像を視差として解析することで立体情報を得る。ただし、対象物をある一点から計測したのでは、死角が発生するため、一度の測量で全体像のデータは取得できない(レリーフのような平面的な対象物を除いて)また、対象物が変形したり、動いたりすると、空間の座標を見逃すこととなり、測量が中断するか、立体物として認識できない。センサーを使った測量は、形が固定され、動かない人工物であれば有効な測量法だといえる。そのような状況の中、フォトグラメトリーによる3D測量を比較してみると、様々な点で有効性がある。写真から解析するので、デジタルカメラのシャッタースピードに応じて、例えば、1/10000秒の3次元情報であっても、写真撮影さえできればデータを取得することができる。従来、動きの測量といえば、モデルの関節部分にマーカーを取り付け、赤外線照射した状態で、3次元座標を捉えるモーションキャプチャーが、動きのデジタライズとして普及した。汎用性のある動きのデータ(BVHデータ)を得ることができる代償に、デメリットがある。一つは、表面的な造形のキャプチャーではないために、服の動きや、筋肉の隆起、肉体のシワやよじれを測量できるわけではない。二つ目は、モデルに対する準備である。関節点に赤外線反射物やジャイロなどを取り付け、測量に備える。また、服や髪によ って、マーカーが隠れないように密着したボディースーツを着ることもある。その様な状態で、モデルは自然な動きを行わなければならないのである。フォトグラメトリーの場合、写真撮影をベースにしているため、基本的にモデルに対する事前準備なく測量ができる。また、衣装などの造形性も加味した測量をすることもできる。少なくとも、人体の動きに影響する 衣服においては極力、自然体を保ったまま測量することができる技術なのである。しかし、フォトグラメトリーによる測量が全てにおいて万能というわけではない。この部分の解消が、この研究の第一 の「問い」といえる。多視点から撮影した写真の差異を元に、空間座標を導き出すということは、写真として差異を導きづらい対象物（真っ白いもの、真っ黒いものなど）視点によって表面の情報が変わる対象物（メタリック、ツヤのあるもの）表面を読み取りづらい対象物（透明なもの、鏡など）は、 通常、測量するのが困難である。このデメリットを解消する方法を問う。人体の測量に焦点を絞った理由は、利用範囲が広いにもかかわらず、データの欠損やノイズが頻繁に発生する対象物だからである。その理由は、静止しようとしても微細な動きが避けられない事と、肌と髪の表面情報の差異が捉えづらい事にある。日本人に多い黒髪は、服や肌に露出を合わせると、黒くつぶれてしまう。そこで、二種類の露出で同時に撮影し、異なった2種類の画像を一枚に合成(HDR) し、3Dデータを生成する。また、肌に関しては、シミやホ クロ、肌のムラなどがあるものの、相対的にいえば変化に乏しい表面なので、その解決策として数箇所からランダムなパターンのレーザーを照射し、肌の表面に位置情報の助けになる模様を出現させる。もちろん、直接、モデルの肌にペイントを施せば、肌表面の位置解析が容易になるが、本研究では対象物に対し、できる限り負担や違和感を無くすことで、自然な振る舞いを捉えようと考えている。以上の試みが、人体測量に対してどの程度有効か、また、反射する素材、透過する素材に関しても、どのような方法を取れば測量可能か。を検証してゆく。これはフォトグラメトリー技術の補完と利用の発展を意味する。もう一つの「問い」は、動きに対するアプローチである。 デジタルカメラを36台設置し、すべてのカメラを同期させ シャッターを切ることで、ほぼ全方位からの写真が得られる。 もし、対象が動かない人工物であれば、1台のカメラを使い移動しながら撮影することで、立体解析用の画像は得られる が、本研究では、完全に静止することが出来ない人間である 事を、逆に発展させ、人体の動きに追従する、筋肉、髪、服 のシワを捉え、真に造形的な記録となることに期待している。 動画は静止画の連続体なので、同時刻の2次元情報から立体データを解析し、そのデータを連続的に表示させれば、人体モデルの3次元情報を動かすことができるはずである。この原理を元に、人体の正確で高精細な3Dデータが、取得・再生 できるか。を問う。3次元情報から、時間軸に沿ってアジャスタブルに確認できるブラウザ構築を行う。ビデオカメラやモーションキャプチャーでは捉えきれなかった動きの記録が、筋肉の動きも含めることで、骨格の結節点だけでなく、筋肉の作用反作用も同時に確認することができる。もし、ビデオカメラを複数台設置して記録したとしても、他視点からの映像を断片的に見て、空間 における座標や動きを認識するのは困難である。その点、3Dデータを再生・コントロールできることで、観者が任意の角度から、時間軸を操り、動きの検証が可能になる。また、3 Dデータがベースになれば、容易にARゴーグルなどを使いバーチャル空間内で、動きの確認ができるコンテンツへと発展させられる。これまで、分解写真やヴァーチャルフィギュアのようなメディアはあった。しかし、本研究から得られるデータは、人工的に造形されたフィギュアではなく、実際の人体から測量され、衣服の造形も人為的にモデリングされたものではない。時間と空間をマウス操作で自由にアジャストでき、ストレスなく閲覧できるブラウ ザを開発することで、人体表現の資料として、強力に創作分野に影響を及ぼすと考えられる。上記の様な活用に加え、動きの保存といったアーカイブ事業にも関係する。ダンス、演劇、パフォーマンス、茶道、華道、舞など、身体表現全般において、その保存、継承のために動きの記録の必要性が昨今取りざたされている。これまでのような映像によるアーカイブに加え、三次元的な変化も捉えなければ、動作の保存と継承に死角が生まれる。先に述べたよう に、モーチョンキャプチャーでは、表情と動作のシンクロ。筋肉の変形から考察できる力の移動。指先の繊細な動き。服のたるみを引き寄せる。など、情報として取りこぼす部分が多い。また、ビデオの記録の場合、撮影は容易ではあるが、多視点での記録ではないため、後世になってから別の視点からの動きを解凍することができない。そういった限界がある中で、本研究の基盤的なシステム構成を元に、芸術資源の価値を飛躍的に上げることができる。本研究では、まず、デジタルカメラの同期と撮影した画像をPCで一元管理する設備を構築する。特に、カメラの同期がどの程度厳密におこなえるかを中心に、設備としての整備を行う。次に、撮影環境やカメラのセッティングの検証を行う。これは、立体化に適した写真とは。という問いに対し、カメラ、照明、モデルに対する工夫なども踏まえ、データを取り検証してゆく。実際の撮影段階では、モデルに対する観察や聞き取りを行い、撮影環境の改善を図る。そして、収集されたデータを元に、インターネット上で、開発したブラウザを使い、人体の動的データベースをストレスなく検証できるシステムを試運用する。そのシステムを実際に体験してもらい、ハンドリングや精度、必要な機能、動きやモデルのリストアップなどの再検証をおこなう。本研究で明らかにしたいのは、現状のフォトグラメトリー技術の弱点、洗い出しと、その改善。静止画から動画へと移行させ、3Dデータに時間軸を持たすことの実現性。それらのデータを容易に享受できるブラウジング開発。を目標とする。研究者の役割として、研究分担者の村上は、プログラミングを担当する。カメラ の制御には、既存のソフトをベースにしながらも、撮影設定などは、スクリプトを記述し、異なった露出での撮影、画像合成の自動化を図る。また、より高精細な3Dデータを得るた め、途中処理プログラムや、3Dデータ用ブラウザ開発などを中心に研究を分担する。吉岡は、カメラやケーブル、照明といった機材のセッティングの検証。人体モデルの撮影を含め、 撮影データと3次元データの関係性におけるリファイン。ブラウザの企画検討を担当する。 ただし、問題に対する解決方法や、研究の方向性などは、逐次相談し、ハードとソフトの両面で検討・解決してゆく。

４．研究成果
2018年から開始された本研究は、2021年に補助事業期間延長承認申請書の提出によって一年延長され、2022年に終了した。期間延長の理由は、新型コロナウイルスの影響で勤務校の施設が使えなくなり、社会的にも研究が進まない状況が半年以上続いたために研究期間の延長が必要になった。しかし、その延長期間中でも在宅でデータの整理、小規模な実験や検証を進めており、研究の進捗に関してのフォローアップができたため研究成果にはさほど影響は無かった。本研究は、フォトグラメトリー技術の向上と、それから得られる3D、4Dデータの享受方法。この２点に大きく分けられる。それを研究の時系列、データ取得とその享受という実際の流れに準じて経緯と成果を述べてゆく。

計測対象の方向性
フォトグラメトリーによる3Dデータの取得は、対象物を撮影した写真を元に、複数枚の写真イメージの類似点を解析し奥行きを検出、結果３次元座標に確定できる点を集積させ面を貼り3Dデータを生成させる。つまり、出発点である写真内の情報が結果を導き出す。その解析にはフォトグラメトリーのアプリケーションが介在し、各社の商品があるのだが、その精度向上や開発、プログラムの改変は本研究から除外している。あくまで、３次元解析の元となる写真の最適解を探る研究として位置付けている。それと、対象物に関して。フォトグラメトリーの利点の１つとして、対象物のスケールに対して制約が少ない事が挙げられる。たとえば、帯状に光、赤外線、レーザーを照射して計測する３Dスキャナーはその用途によって機器の計測レンジが異なる。卓上の小型のものを計測する機器、土木に使われるレーザー測量器、それらは汎用性が少なく特化した精度、計測ピッチ、計測範囲が設定、設計されている。しかし、フォトグラメトリーは写真から解析するため、卓上のものから建築、土地まで対応できる。その様に広範囲な測量レンジを持つのだが、本研究においては人体、ヒューマンスケールに特化した。その理由として、最終的なデータ利用を創作分野（美術、マンガ、アニメーションなど）に絞り込んだ。人物表現は古くから世界中で使用されている素材で、かつ、大きなニーズが今後も期待されると考えている。その中で、人体の動きや形状を３次元的に計測し、任意の角度からつぶさに観察できる必要性を感じたからだ。モーションキャプチャーの様な関節点の座標計測ではなく、フォトグラメトリーは表面情報の計測のため、筋肉の隆起、動きや風で変形する衣服がアーカイブできる事の成果が期待できる。それと、無機物であれば動かないためフォトグラメトリー以外の計測方法も有効な場合がある。しかし、人体の場合、静止したとしても生身の人間であれば微動している。このわずかな動きが従来のセンサーを使用した３Dスキャン場合は計測エラーにつながる。もしくは計測時間が5秒〜20秒など一瞬では計測できない。創作表現分野での活用、他の計測方法で困難な対象。そういった理由で、本研究は人体を対象物に設定した。
フォトグラメトリースタジオの構築
対象が動かない無機物であれば一台のデジタル一眼レフカメラ（以下、カメラ）を使って撮影者が移動しながら撮影し、多視点の写真を得ることができる。しかし、人体の場合はその撮影者の移動の間にモデルはわずかでも動いてしまう。そして、動作の一部を切り取るためにモデルに静止してもらったとしても不自然なポーズとなる。しかも、本研究では人間の動作を動画で撮影し時間軸を持った4Dデータ計測を目標にしているので、複数台のカメラをあらかじめ設置し、同時にコントロールする事で、同じ瞬間の多視点の写真・動画を得ることを目指した。 最終的なカメラの台数は36台で構成した。対象物に対して10度ずつの間隔で360度周りから撮影できる。ロー、ミドル、ハイアングルと縦に３台使用すれば12列設置できる。後にそのカメラの設置レイアウトによる３Dデータへの変化を検証する上で割り出しやすい台数に設定した。このカメラはポールスタンドに自由雲台のクリップで取り付けられ、全てのカメラに、レリーズ（シャッターを切るための信号入力用）と、USBケーブル（撮影データの出力と、撮影設定の入力用）が繋がる。
1、USB接続について
全てのカメラに撮影の設定（シャッタースピード、絞り、ISOなど）を施し、内臓のフラッシュメモリーに記録したデータを、物理的に回収することでデータを集めることは可能だが、撮影環境変更の度に一台ずつ設定を変更する事、メモリーカードを回収し仕分けすることは膨大な時間がかかる。そこでSmartShooter3(スマートシューター　メーカー：Tether Tools)というアプリケーションを使用し、カメラのコントロールを行った。各カメラにUSB接続を行い1台のPCに繋げれば、PC側から全台のカメラを一括して設定できる。また、撮影した写真データをUSB経由でPCに集め、その際に、撮影したカメラの通し番号、撮影の順で連番、などを含んだファイル名に変換してくれる。複数台のカメラを制御するには大変有効なアプリケーションである。しかし、36台のカメラを１台のPC繋ぐには制約がある。最終的に一本のUSBケーブルとしてPCに繋ぐには、USBハブを数珠繋ぎにする必要がある。 親世代の接続　　PC←4個口USBハブ
子世代の接続　　4個口USBハブ←10個口USBハブ　合わせて40台接続可
（USBの数珠繋ぎは最大５段まで）
USB規格の仕様で、カメラ、USBハブに一回繋ぐ度にエンドポイントを消費する。それはUSBデバイスによって様々で、USBハブ内でも数珠繋ぎが発生しているために、1つの製品でも10個口になると、差し込むポートによって、エンドポイントを1消費するポートと3消費するポートが存在する。USB3.0の場合32ポイント消化すると、USBデバイス接続の上限に達する。しかし、そのエンドポイントは格下規格であるUSB2.0の場合には96となる。今回、使用したPCには１箇所USB2.0のポートが１つあったが、もしなければ、USB2.0の拡張カードを追加で搭載しなければならない。それも難しい場合は、2台のPCに振り分けて接続し、カメラの設定やデータの回収を２箇所に分けなければならない煩雑さが生まれる。もしくは、根本的にUSB接続を諦めてLAN接続のCCDカメラに切り替えるなどの方法は残されている。いずれにしてもUSBによる接続の問題点は明確になった。加えて、USBの限界というべき問題点が浮き彫りになる。情報の転送速度の遅延である。撮影した写真データをPCに読み込まれるまでに最大で3秒ほどかかることがあった。静止画の撮影で、ショットの間隔を開けて撮影すれば問題はないのだが、ベストショットを狙うがために連写すると、カメラからのデータの吐き出しとPC側の受け入れが間に合わず、抜け落ちる写真データが発生した。しかし、この点に関しては、その場での確認にこだわらなければ、カメラ本体のメモリーカードにも同時に保存して、後にデータ転送で回収することでフォローアップできることがわかった。それ以上に、問題なのはショットの同時性である。先のスマートシューターでシャッターを切るコマンドを送ると、USB経由でその信号がカメラに送られリモートでカメラのシャッターが切られる。確かに全台のカメラで撮影はできるのだが、アプリケーションのコマンド入力と、各台のカメラのずれも合わせると5秒ほどかかる時もある。これも、動かない対象であれば何ら問題はないのだが、人物の動作の一瞬を捉える。という観点ではとても許容できるタイムラグではない。これはアプリケーションの不備ではなく、USBの規格の限界なので、USB経由のソフトウエア上でのシューティングを諦め、レリーズでのシャッター制御に切り替えることにした。尚、仮にUSBデバイスの接続台数の問題解決のために、USB2.0規格を使用することに至ったが、その10倍の転送速度を持つUSB3.0でもUSBデータ転送機構の性質上、同時にシャッター信号を送る事が不可能な事が後にわかった。
2、レリーズによるシャッター制御
本研究で使用したカメラはCanon EOS Kissi 7このカメラには電子レリーズのポートがある。それ以外に赤外線のワイヤレスレリーズも使用できるが、対象物に対して取り囲む様に配置されたカメラに対し、赤外線では死角になるカメラも生まれ全台同時にシャッターを切る事を考えると不安が残る。そこで、電子レリーズによる制御に絞ることとした。電子レリーズのインターフェイスはステレオミニピンジャックなので、サウンド用のステレオミニピンジャックの分波器を流用してみたが、カメラ36台分の分波を繰り返すと接続が煩雑になり信号が送られないカメラが生まれるなど不具合もあった。そこで、１つの信号を分波するコントロールボックスを村上助教に依頼し制作してもらった。最大で50台を制御できるが、原理的にはそれ以上も可能である。この装置によって、１つの純正のリモートスイッチ（Canon RS-60E3）の信号を同時に複数台のカメラに送ることのできる環境が整った。尚、この分波器の制作はメーカーにも確認を取り承諾を得ている。商品として5台以上の分波器が存在しないのはニーズが限られている故に商品化できないとの事だった。しかし、原理的に可能なのはメーカーとしても確認済みとの事。フォトグラメトリーに限らず、5台以上のカメラのシャッターを同時に切る必要がある研究の為にその回路図を研究ポータルで公開している。なお、電子レリーズのインターフェイスがステレオミニピンジャックなのはCANON、PENTAX、PANASONIC製品で、それ以外のメーカーの場合は異なる規格のプラグ形状を使用している。しかし、シャッターを切るための電子信号分波という限られた機能のため、他社のカメラを使用した場合でも研究内容を流用できる。
成果としては、
USB接続された複数台のカメラ制御方法が確立できた。
カメラ制御のためのUSB接続の問題点と改善策が明確になった。
複数台のカメラで同時にシャッターを切るための研究用コントロールボックス開発ができた。
撮影環境やカメラ設定と3Dデータ生成の相関関係
フォトグラメトリー用の写真撮影を開始する。基礎データ収集前の準備や改善した点を挙げる。カメラを取り付けたポールスタンドだが高さ約2m50cmの位置にカメラを取り付けて撮影すると、シャッターを切った際にカメラ内部のミラー駆動振動で若干ポールが揺れる。その振動を止めるためにポールスタンドの上部に、両端にクリップの付いたバーを渡し振動を抑制させる必要があった。カメラのフォーカスを合わせるためにダミーの人形を製作した。常にモデルを撮影スタジオに付けるのは困難なので、ヒョーマンサイズの人形を作った。表面にはファオーカスの合いを確かめ易いように新聞紙を全面に貼り、立体化したデータの解像度を測るために、１mm、２mm、５mmの立方体、直径１mmの穴、２mmの穴、５mmの穴、などがレリーフ状に立体化されたプレートを３Dプリンターで出力し胸、肩、腰、などに貼り付けた。これにより単独での撮影準備やフォトグラメトリーの立体化精度が検証しやすくなった。
1、感度、写真データの保存形式に関して
まず、静止したダミー人形を使って基礎データの収集を行なった。カメラの設定による変化を相対的に検証する。まず、感度（ISO）の変化に依る立体化の精度を検証するために。感度を100〜12800まで変化させ立体データ化を行なった。基本的に高感度になれば粒子感が増え写真にザラつきが生まれる。低感度であれば粒子感が抑えられ、なめらかな階調が得られる。単体写真のクオリティーで言えばそうだが、フォトグラメトリーの立体化においてどこまで関係するかを検証した。結果、感度に応じで細部の再現性やエッジのシャープさが比例している事は確認できたが、人体の大きなフォルムに対しての極端な変化は見られなかった。感度3200を超えると若干、３Dデータのエッジに乱れや甘さが顕著になるのでISO1600を基本的な感度の設定とした。後の動きによる検証を考えると、細部の精度よりも最大限高感度にする必要がある。その上限を見極める事ができた。ただ、大きなフォルムに関しては全くといっていいほど劣化は無かった。この写真画質の変化の延長線として、写真データの保存形式（RAW、TIFF、JPG、高圧縮JPG）を変化させて同じ環境下で撮影し立体データ化した。結果これも、大きな影響がなかった。立体データを拡大し表面の立体的なノイズ感があるぐらいで、人体全体の立体情報と考えると変化はほとんどなかったと言える。つまり、写真を鑑賞する。大きく引き伸ばして使用する。などであれば、ISOの変化、保存形式の変化は重要になり、使用用途においては決定的な差も現れるが、フォトグラメトリーにおける写真内の近似値検出では、粒子感やザラつきまで立体化する超高解像度の立体解析は用途として難しく、指先や目蓋、皺の立体化を考えても影響は比較的少ない。感度3200以上、高圧縮JPGでなければ、大きな造形的影響が出ないことがわかった。
2、露出の変化
感度、シャッタースピードを固定し、露出（絞り、アイリス）を変化させ撮影した。かなり立体化に影響を及ぼす要素であることがわかる。フォトグラメトリーは複数枚の写真の類似点を検出するのだが、その類似点の解析性が重要になってくる。つまり、白飛び、黒つぶれ、箇所には類似点を探し出そうとしても、そこの表面情報が無いことになる。表面の柄、凹凸に依る陰影が鮮明であればあるほど解析結果は良好になる。露出変化のグラデーションの中で、暗すぎる、明るすぎるは立体化されず、適正露出に近づくに従って全体の立体が進んでゆく。特徴としては、立体化の解像度、エッジのシャープさが変化するのではなく、欠損部分の領域が変化している。つまり、先の粒子感のように写真の質が変化しているのではなく、表面情報の視認性の変化なので、立体化においても質の変化ではなく、立体情報を得られるか得られないかの境目が生まれる。その領域を確かめるために、白いTシャツと黒いズボンを履かせ、検証してみた。そうするとわずか露出8-7.1の間だけ、相対的に利用できるデータとしては露出2段階分のみ、上半身、下半身の両方が立体化された。適正露出よりも一段階アンダー露出が立体化においては適正だった。白いTシャツ、黒いズボン、その両方に立体感がわかる露出設定は、通常の写真撮影でも難しい。なので、これが中間調の服であれば間違いなく立体化の適正範囲は広がるのだが、日本人に多い黒い髪、肌の色が比較的明るいモデルの撮影などを想定すると、露出の調整は適正値の幅がかなり狭いと言える。その解決方法として、HDR撮影を試みてみた。異なる露出で撮影し、それをプログラムで合成して写真全体で適正露出にする技術だ。夜景をバックに人物を撮るなど、ワンシャッターでは到底実現できない露出のコラージュが行われる。それを、フォトグラメトリーに利用できないかと考えた。結果、良好な結果が得られたが、元々HDR撮影は複数の露出で撮影するためトータルで1秒ほどだが撮影時間が長くなる。動かない対象であれば有効な方法だったが、今後、人体の動作に至ると明らかにタイムラグが起きると考えられた。次に、表面にランダムなパターンを投影する方法を検討した。アンダー気味に露出を設定し白飛びを抑え、全体にレーザープロジェクターでランダムな模様を投影し撮影した。結果、若干改善されたが、カメラの台数に対して、死角のないプロジェクター投影が難しい事。対象物の自然色がデータとして得られないこと。モデルに対して直接プロジェクターを当てることに対する危険性。などを考えると有効な手段とはなり得なかった。ただ、原理的に赤外線のランダムパターンを死角がないように複数台の照射機で当て、自然色を得るための可視光線カメラ、立体情報を得るための赤外線カメラを設置し、全て同時に撮影すれば、黒い箇所、白い箇所があったとしてもモデルの3Dデータをハイスピードシャッターで捉えることはできる。そのための予算は計上していなかったので、他のアプローチで後に適性レンジを広げることにした。
3、被写界深度の変化
3Dスキャナー等を使用したスキャニングに対して、フォトグラメトリーによるスキャニングの特徴は、写真特有の現象を立体化に取り込める事が挙げられる。3Dスキャニング機器は、対象物に縞状の光源、レーザー、赤外線を当て、2眼カメラで捉える事で3次元座標を得る。表面情報を得るという点では誠実な形式と言える。それに対して、フォトグラメトリーの場合、写真に依存するため、ブレ、ボケ、が発生するとその部分においてはエッジの甘い、なめらかな形状変化を持った立体になる。そのブレ、ボケが大きい場合、立体化されない場合も多々ある。その現象を使って、立体形状が部分的に溶けて滑らかになった状態や、被写界深度を狭くして、部分的にシャープな造形、その前後は距離によって立体が滑らかになってゆく。といった写真の現象を立体化したデータを得られることは興味深い。しかし、本研究はそういった特殊な造形手法ではなく、あくまで人体の立体データ取得に主眼を置いているためブレ、ボケによる造形の変化を極力抑える方向とする。ブレは対象物、もしくはカメラ自体が撮影時動く事が原因となる。ボケに関しては、アウトフォーカス、つまりピントが合っていない事。そして、もう１つの原因は被写界深度内に対象物が入っておらず、ファーカスが合っていない事が挙げられる。被写界深度を深くすれば手前から奥までピントが合う。逆に浅くすればカメラからの距離に対し、狭い範囲の中に存在する対象物のみにピントがあう。被写界深度を深くしてボケを防ぐ設定は、諸条件を逆算する事で求められる。まず、被写界深度を深くするには、絞りを絞り込む、レンズを広角寄りにする。この２点だ。レンズに関してだが、フォトグラメトリーにおいて適正な焦点距離は50mmとされている。ほぼ標準焦点距離である。それ以上、広角にするとレンズの歪みによって立体化に影響が出る。フォトグラメトリー用の写真では50mm前後の単焦点レンズで撮影する事が一番良好な結果を得る事ができる。そうすると、標準的な身長、もしくは腕を上げた動作を鑑みても、モデルとカメラとの距離は約2.5mと算出される。次に絞りだが、絞り込む事で被写界深度が深くとれるが、先の感度の上限であるISO1600に設定したとして、最大限に絞り込んだとしても、シャッタースピードは1/30となる。人体の動作の撮影が控えている事を考えると、スローシャッターと言える。人体の動作を撮影するシャッタースピードの下限として1/320（後述）を設置し、逆算すると絞りはF10となった。この設定で、どれほどの被写界深度があるか撮影してみたところ、十分に人体の厚み、動作の使用範囲をインフォーカスさせる事ができた。つまり、人体が対象物で、動作を撮影したとしても、フォーカスの合う範囲は確保できる事が確定できた。ただし、照明の輝度によることもあるので、極端に暗い環境だと、結果的に絞りの値が開放寄りになることもあるだろう。しかし、レンズの焦点距離50mmを維持すれば、極端に狭くなることは避けられる。対応策としては、撮影する動作を低速なものにしてシャッタースピードを1/320以下にする。感度を更に上げるなどして改善できる。
4、シャッタースピードについて
ダミー人形を撮影するのであれば、スローシャッターでも問題はないのだが、本研究の目的の１つである動的人体の３Dデータ取得を考えると、動くことによるブレをどの程度抑えるかが難しい。逆にハイスピードシャッターにする事でブレは防げるが、それに対するライティングの光量の確保といった負担も上がる。本研究の環境下で、椅子から立つ、歩く、走る、ボールを投げる。などの動作を撮影し、３Dデータの崩れ具合を検討した。どこまでシャープに高解像度で計測したいかに拠るところもあるが、フォトグラメトリーの性質上、シャッタースピードの速さが、３Dデータのシャープさとどこまでも比例するわけではない。シャッタースピードの変化が、人体の造形的なシャープさに寄与する許容範囲としてはシャッタースピード1/320と判断した。歩く、椅子から立つなどの動作であれば1/100でも撮影できるが、走る。ジャンプする。などの動作は1/320は必要との判断をした。それ以上の速さを求める場合は、より早い動作の計測が必要な時だけで、造形的な向上においてはカメラの画総数、台数、ライティングに予算投資した方が費用対効果は高い。
5、ライティングについて
フォトグラメトリー用の写真撮影は、ライティングが重要である。先の露出の設定でも触れたように、白飛びと黒く潰れる事でその箇所の表面情報が失われ、立体データ化されない。逆に良好な照明環境とは影になる場所が少なくソフトな光源が対象物の周囲を取り囲む様に配置される照明環境だ。自然光で言えば、曇り空の早朝、そういった眠い光源の方が、モデルの3D計測には適している。それを人工光で再現する場合の検討を行なった。まず、動作の撮影が控えているために、写真撮影用のストロボではなく常灯のLEDライトを使う。常灯の方が初心者にも設定しやすい利点がある。台数は6台用意し、360度を60度刻みで配置した。もし、正面性を出して動作の前方にカメラやデータを集中させるなら、前に4灯、後ろに2灯という変化もできる。留意点はライトに強めのディフューザーを入れ、光を拡散させる事。これは、対象物に対して光の死角を作らない事と同時に、逆光になった際に、ハレーションを防ぐ、視点によって対象物表面にハイライトを発生させない意味もある。フォトグラメトリーにおいて計測が苦手な要素として、視点によって表面が変化する素材。がある。つまりメタリックなもの、艶のあるものだ。人間の目で見れば表面の立体的な変化ではなく、あくまで反射だと認識できるが、コンピュータの解析では、視点による反射像の変化は立体物が視点によって変形している。と誤認識し解析のエラーと捉える。それを防ぐために、ライトにディフューザーをかけ、光源をマイルドにし、極端な逆光によるハイライトや反射を防ぐ必要がある。モデルの身につけるものにも配慮がいる場合もある。拡散光をさらに最良のものにするには、撮影場所自体を白い布なので覆い、周り、床、天井に光を反射させ更に間接光で包み込まれた撮影環境にすることも可能だ。しかし、本研究の申請時にも挙げた様に、可搬性も担保する事。を考えると、最高にベストな撮影環境を作り上げるよりも、機材を運び、仮設的にスタジオを構築する。野外で撮影する。という可能性を残している。ちなみに、ライト、カメラ、PC、全てバッテリー駆動が可能でコンセントから電源が取れない場所でも、一定時間であれば計測が可能なシステムを構築している。
上記の様な、撮影諸要素を基礎研究として行なった。モデルの撮影ではなく、あくまで写真撮影の条件と、撮影された写真による３次元情報とがどの様に変化するか、相関関係を検証した。なお、３次元化の変化の検証には2つのフォトグラメトリーアプリケーションを使用し、アプリケーションに依る変化ではない事、若干の差はあるが、相対的な関係として再現性のある研究であることは確認している。この写真素材の変化と３Dデータの変化は研究ポータルで画像を使って公開すると同時に論文としてまとめる予定である。また、研究期間中にフォトグラメトリーを利用した版画作品が二つのコンテストにおいて大賞を受賞した。その際、作者のコメントやシンポジウムでフォトグラメトリーの原理や優位性を紹介した。
成果について
フォトグラメトリーにおける写真素材の撮影環境、カメラの設定と立体データの相関関係を明らかにする事ができた。
フォトグラメトリースタジオ構築の基礎研究としてまとめる事ができた。商業、建築、工学、土木分野に限らず、フォトグラメトリー技術の向上と普及に寄与する事ができた。


動画の撮影と4D化のワークフロー
ほぼ静止した状態の人物の3次元計測は、対象がダミー人形から生身の人間に移行しても、さほど技術的に大きな変化はない。つまり「動き」という要素以外の造形的な変化はさほどなかったからだ。ただ、留意点はある。ダミー人形はデータ採りのために新聞紙が表面に貼られている。よって、ボディの表面明度は常に一定だったが、モデルが着衣で、明るい服、暗い服、上下の中間明度など加味して適正露出を調整したほうがよいだろう。それと、生身の人間だからこそ、自然な動作や、日常の一場面を演じるモデルへの心遣いも必要になる。撮影を何回も繰り返してゆくうちにモデルから改善策をヒアリングし、モデルから見た撮影環境も改善していった。
1、動画撮影
静止画の写真撮影と動画撮影で異なる点を挙げる。
写真の場合は電子レリーズで全台の同期を図ったが、動画の場合は録画の立ち上がり等にタイムラグあり、完全に同時に録画をスタートさせることが出来なかった。しかし、後に36台分のカメラから得た動画の同一時間の静止画を動画から抜き出さなくてはいけないために同期用の調整ポイントとなる動きを冒頭に撮影した。それは、単純にボールを落とす。というもので、それによって、ボールの着地点を後に動画における基準時間点とした。他の方法でも可能だと思うが、全てのカメラから死角にならない事。瞬間を探しやすい現象であれば問題はない。他には秒の表示のあるデジタル時計も使用してみたが、360度を取り囲む撮影の場合は、表示画面が平面的で裏から見えない。という問題があり、死角が生まれにくい光を使う方法、ストロボを使ってみたが、瞬間に至る前振りがないので、時間軸のトラッキングがしにくい。という問題点があった。結果、手を伸ばしてボールを落とす。という単純な方法に落ち着いた。ただ、この同期を測る方法として、電子的に出来る可能性がないのか引き続き検討する余地がある。動画の場合は、撮影後瞬時にPCにデータを転送する事は不可能だ。撮影されたデータは一旦カメラ内蔵のメモリーに録画され、撮影後のダウンロード処理で、全台からPCにUSBケーブル経由で転送されてゆく。留意点としては、動画になると素材としては大容量化する。保存場所の確保と、撮影に無駄の無い準備をしなければ、いたずらに記憶媒介を圧迫してゆく。静止画の時は、動作の一つ一つを区切るように撮影したが、動画の場合は、一連の流れで撮影したほうが、後々の処理がしやすく自然な動きとなる。例えば、椅子から立つ、座る、立って、振り返る、走り去る。などを一度の撮影で撮り終える。そうする事で後の処理が一度で複数の動作のデータ処理に繋がる。
2、4D化へのワークフロー
36台のカメラから集められた36ヶ所からの視点動画をPCに全て読み込み、Adobe After Effectsに全て映像素材を読み込む。36個のフッテージが並んだ状態で、順番に同期を取ってゆく。つまり、若干の時間のズレを手動で調整してゆく。その目安になるのが、同期用のカチンコ（ボールを落とした際の着地した瞬間など）だ。それを元に、フッテージの時間軸をフレーム単位で微調整してゆく。36個のフッテージが全て、同期出来たら、静止画書き出しのイン点アウト点を設定し、カメラ36台分の書き出しを行う。ただし、1秒間30フレーム書き出すと膨大な枚数の4D用素材になるために、今回は秒間10枚に減らした。それでも十分に動画として認識できる。 例えば、10秒間の4Dデータを作る場合
10秒×10フレーム×36台のカメラ＝3600枚の写真が必要になる。
動画から時間軸に沿って静止画を書き出す際は、出力形式をシーケンスJPG、シーケンスPICT、シーケンスBMPなどにすると、パラパラ漫画の如く動画から静止画が書き出される。その際、連番ファイルになるので
書き出されるファイル名を
001_CAM01
002_CAM01
003_CAM01
….
100_CAM01
と設定する。続いて次のカメラに移った場合は
001_CAM02
002_CAM02
003_CAM02
….
100_CAM02
最終的に
100_CAM36
で、完了する。
時間軸に沿って連番001-100、ファイル末尾に撮影したカメラの通し番号01-36がつくように設定する。それらをファイル名でソートをかけると同じ時間軸の多視点の画像をセットとして抽出する事ができる。動画から静止画へと変換された画像群は、フォトグラメトリーの解析によって1秒間に10点ずつ立体データが得られる。それをシーケンスオブジェクトとして3Dソフトで読み込めば、動く3Dデータが完成する。
成果について
モーションキャプチャーでは閲覧できない、服の皺、裾の動き、表情の変化、筋肉の隆起などを時間に沿って多視点で3次元的に鑑賞できるデータが取得でき、その留意点がまとめられた。


WEBによるデータのブラウジング
1、3Dデータ用ブラウザ
先に得られた3Dデータは3Dアプリケーションを使って閲覧することはもとより、造形的な編集を施すこともできる。しかし、それは3D全般に対する基本的な知識が必要で、また3Dアプリケーション自体は、人体のデータ利用を前提とした創作者に特化したものではない。そこで、3Dデータの加工を想定せずに、フォトグラメトリーで得られたデータを即座に閲覧するためのWEBページを制作した。その仕様は、インターネットに繋がったパソコンでWEBブラウザがインストールされている事が条件。WIN、MAC問わず。
http://photogrammetry.work/web-3d-viewer/3d-browser.html
にアクセスし3Dデータをそのブラウザの画面上にドラック＆ドロップする。対応形式はGLB、OBJ（OBJ形式の場合はOBJ、mtl、jpg/png　3点同時に読み込む事ができる）そのワンアクションによって、3Dデータが表示され外観を鑑賞できる。鑑賞環境の向上に留意した点を挙げる。まず、3Dデータの大きさ、原点に依らず、画面中央に収まる様に表示される。本来、３Dデータのスケールに応じて、表示されるのだが、稀に極小スケール、巨大スケールになる場合がある。データの書き出し時の相対的なスケール設定に原因がある事が多い。それを認識せずに読み込んでみると、極小すぎて読み込まれていないように誤解したり、巨大すぎて読み込みエラーの様に見えたりする事を避ける配慮である。特にこの研究では3D環境に慣れていない創作者へのデータ享受がテーマとなっているため、まずは、戸惑いや誤認識を回避する仕様とした。原点に対しても同じで、本来、3Dデータには座標軸が存在し、閲覧上は見えない原点（X＝０、Y＝０、Z＝０）が存在する。3Dアプリケーションでは、メッシュが補助的に表示され、その確認もできるが今回開発したブラウザではそういった座標は存在しない。そうすると、読み込んだ時点で、原点からかなり離れていることで、読み込まれていない。また、回転させてみるとピボットポイントが3Dオブジェの中心からずれて閲覧しにくい。という状況が起きる。その2点を回避するために、いかなるスケール、いかなる原点を持ったデータであっても、読み込み時、原点はオブジェの中心で、表示の大きさはブラウザ画面にほぼ一杯に収まる仕組みを設定した。この配慮は、まず3Dデータ全体をつかむ事ができる。回転させた時にオブジェの中心を軸とする。という仕様の方が、有効だと判断したからだ。ただし、元のデータに広範囲に散らばったポリゴンやポイントが存在する場合は、その全域を1つのオブジェと認識するため閲覧者の意としないスケールで表示される事は起こり得る。
次に読み込まれた3Dデータの閲覧方法について。マウスで3Dデータを操作するのだが、その変化の速さ操作感に重点を置いた。左マウスボタンを押してのドラックで回転。左マウスボタンを押してのドラックで移動。ホイールの回転でズームインとズームアウト。以上の変化をマウスで行なった際の変化速度の調整をおこなった。特に留意したのは、ホイールの回転についてである。カメラに置き換えて考えてみると、焦点距離、つまりズーミングする事と、カメラ自体を対象物に近づける移動とを、どの様に分けるかが重要になる。対象を大きく表示する。という表現は人体を扱う制作者においてはいささか乱暴な表現である。焦点距離を短くし広角寄りにすると、遠近感が増しパースが強くなる。それに応じて、表示される領域は広がるが中央から周辺にかけての歪みは大きくなる。対象物は相対的に小さくなる。その逆に焦点距離を長くとって望遠側にレンズを変化させると、遠近感、歪みは少なくなり正投射となってゆく。遠近がなくなってゆく。対象物は相対的に大きく表示される。こういった変化（望遠、広角レンズの対象物の見え方、歪み方）は、表現分野で頻繁に意図的に使われている。このレンズの変化とは別に、視点自体を対象物に近づける、遠ざける。という変化も同時に行う事がある。これはレンズの効果を保ったまま、対象物が大きくなる。小さくなる。という変化をともなう。この２つの要素を切り分けて操作できる様に、対象物に近づく、遠ざかるはマウスのホイールで即座に行う事ができ、広角望遠のレンズ効果は画面下部にスライダーを登場させ変化を確認しながら調整する。その結果を保ちながら、再び寄り、引きをホイールで行う事ができる仕様にした。大きく表示、小さく表示では捉えきれない詳細なアジャスタブル環境を備え、求める人物造形へ直感的に近づける操作感を実現した。それ以外に自動回転機能を備え、ターンテーブルに乗せた3Dデータ表示を組み込んだ。これは対象を無機的に回転させ観察や思考する際に使える。また、読み込み速度の高速化、背景や３Dデータに対する照明の設定も検証した。
2、4Dデータブラウザ
時間軸を持たない、単体の3Dデータの閲覧環境を検討した後に、4Dデータの閲覧環境検討へと移行していった。当初は、4Dデータを3Dアニメーションさせながら任意の時間で一時停止させ、回転、移動できる操作環境を想定していたが、3Dデータ用ファイル形式glFTに、回転や移動、モーフィングのアニメーションを内蔵する事はできるが、1フレームごとに3Dデータを差し替えてアニメーションさせるシーケンスオブジェクトには対応していないことがわかった。他に有効な方法がないか模索した。代替案として、4Dデータのアニメーションを再生させ、任意の点で動画を静止させ、その時点の3Dデータを呼び出す。といった操作方法にした。アニメーションは一方向からであるが、データの大方の変化がわかる。その動画再生は、再生ボタン、停止ボタン、スロー再生、スライダーによる再生ヘッドの移動からなる。それらを操作し、必要な時間的地点が決まると「3Dデータ呼び出し」ボタンをクリックする。それ以後は、先の3Dデータブラウザに準じた環境が提供される。1つ違うのは、「戻る」ボタンをクリックする事で、再び4Dデータ再生画面に戻り閲覧する時間的地点を選ぶ事ができる。この閲覧できる4Dデータを増やして、サムネイル表示させ、複数のデータをストックさせる事は原理的には可能だが、そのためにはサーバにデータ保存領域が必要となる。また、3Dデータブラウザのようにドラック＆ドロップで4Dデータを鑑賞できるほど簡素化はできなかった。しかし、4Dデータに関しては、撮影後のアセンブルも含め、未だ専門知識なくデータ生成を行うのは困難だと思われるため、準備された4Dデータの閲覧環境の構築を中心に進めた。生成された４Dデータの享受、プレゼンテーションに道筋をつけた研究だと認識している。
成果について
人物表現全般において、人間の動作、衣服の変化を表面で捉えたデータを簡易に観察できる環境を整えるための基礎研究ができた。
閲覧システムをインターネット上に公開し、フリーで試用できるWEBページを立ち上げ、フィードバックを受け付ける状態を構築した。


まとめ
本研究の成果はフォトグラメトリー技術の創作分野への利用方法を検証できたことにある。土地の測量、工業製品の検討、文化財の形のアーカイブなど利用され一般化している技術ではあるが、それらは、測量の精度が問われ、高度化している。その方向性とは異なり、本研究はフォトグラメトリー技術を簡易、安価に実現させ多様性のある利用方法へ発展や展開させるための研究であった。限られた予算の中で、人体の計測を行う方法と、そのデータの利用方法を検証したことは、表現分野の発展にも寄与すると考えている。また、アプリケーションの開発ではなく、フォトグラメトリー向上の写真へのアプローチはこれまで見当たらず、本研究が測定成果の原資となる写真撮影に特化したことは、これまでフォトグラメトリー研究の穴を埋める事ができたと考えている。尚、本研究の成果は、数値的なデータも掲載した上で、画像やサンプルデータへのリンク先なども提示し、論文としてまとめ、リポジトリー登録を行い公開する予定である。