VRに有用な今後の技術：VRの基礎知識4

前回は、実際にVRソフトを作るために必要なノウハウについて解説しました。今回は、VR制作に関して、今後ますます発展していきそうな技術を紹介します。

今すぐ、技術資料をダウンロードする！（ログイン）

1. Photogrammetry

まず、第一はPhotogrammetry（フォトグラメトリ）と呼ばれる技術です。簡単にいうと、さまざまな位置から撮影された複数の写真を合成することで、物体の輪郭と表面の様子を自動的に3Dモデル化する仕組みです（図1）。

Photogrammetryのプロセスは、複数の写真の中で、被写体に共通する箇所を特定することから始まります。特徴点と呼ばれるその箇所を、複数の写真から自動的に見つけ出し、その特徴点同士がどこに写っているか、どう位置が変わっているかを分析して、カメラの位置を特定するものです（図2）。

カメラの位置が判明し、その位置から撮影している物体の輪郭を複数箇所にわたって検出できれば、それらをつなぎ合わせていくことで、物体全体の輪郭が分かるという仕組みです。またその際、物体の表面の写真を貼り付けることで、表面の見た目の様子も再現できます。

また、ここに機械学習（システムが、集められたデータから学習し、そこにあるパターンを効率よく推論・実行する仕組み）を用いることで、より簡単で効率的に特徴点を導き出すこともできます。近年、特に人体などでは、機械学習に使われるデータが豊富に蓄積されているので、特徴点の抽出精度が高くなっています。最新のPhotogrammetry技術を用いれば、正面の顔写真が一枚あるだけで、人の顔の3Dモデル化が可能になっています。

前述のとおり、Photogrammetryは特徴点を検出することから始まるため、特徴のない物体は処理し難い、という短所もあります。極端な例を挙げると、豆腐のように全面が白く均質な形状のものは、撮影された写真が上下左右ともに全てほぼ同じなので、コンピュータ上でのカメラの位置を特定するのが困難です。

似たような例で、物体の全体に均一の模様があるような場合も、特徴点を導き出すことが難しくなります。適度にランダム性があるものの方が、Photogrammetryの処理が行いやすくなります。

また、事前に複数台のカメラが決められた位置に固定され、どの位置からどの角度で撮影したかが分かる状態で写真撮影を行う専門のスタジオもあります。こうした設備で撮影することで、特徴点のブレなどによる誤差が発生せず、正確な3Dモデルを作成することができます。ただし、このようなスタジオで撮影できるのは、搬入可能な大きさのものに限られ、当然ながら、巨大な建造物などの撮影には向きません。

Photogrammetryの短所としては、表面の模様は撮影可能であるものの、材質の再現まではできないという点があります。人体の場合、ガラス体である瞳の部分、エナメル質である歯、半透明の皮膚など、材質の変化までは対応していません。このため、Photogrammetryで作成したばかりの3Dデータを見ても、実物に忠実なものとは思えないかもしれません。現実のものに近づけるためには、もう一段、材質の質感を変更する手間が発生します。

2. 空間スキャン

保管用PDFに掲載中。ぜひ、下記よりダウンロードして、ご覧ください。

3. モーションキャプチャ

保管用PDFに掲載中。ぜひ、下記よりダウンロードして、ご覧ください。