フォトグラメトリについて
フォトグラメトリの特徴
被写体をさまざまなアングルから撮影し、複数の写真から3Dモデルを生成する
フォトグラメトリは、被写体をさまざまなアングルから撮影し、複数の写真から3Dモデルを生成する技術です。この技術は「三角測量」と呼ばれ、人間の目にも使われています。人の目は右目と左目で見る角度・場所が違い、そこからある1点を見つめることで、その場所の位置が特定され、立体的に物を見ています。つまりフォトグラメトリの技術は人間の目が物を立体的に見ることと同じ原理なんです。
また、フォトグラメトリ用に撮影した写真の場所がどこかを特定する技術のことを「アライメント」と呼びます。人間で例えるなら「この写真は右目から、この写真は左目から撮ったんだよ」と判断するようなイメージです。
三角測量を用いることでA-B間の距離とA-C,B-C間の角度が分かればCの位置が計算可能。フォトグラメトリがやっていることは人間の目が物体を立体的に見ることと同じ原理である。
アライメントとは、オーバーラップ撮影された写真から複数の写真の共通点を点として抽出し、低密度の点群データを作成する処理のこと。写真の撮影場所がどこなのかを特定する技術。
特徴点とは？
3Dモデル化する物体の模様のうち、他の物体とは異なる模様の部分を指す
3Dスキャンを行う上で、「特徴点」というキーワードは外せません。特徴点とは、物体の形や色など際立った部分の点群データのことで、3Dモデル化する物体の模様のうち、他の物体とは異なる模様の部分を指します。
例えば、四角い箱に4色の目印をつけ、その箱を正面と左右からそれぞれ撮影したとします。この場合、特徴点が存在するため、どこから何を撮影したのかがわかりますよね。一方、目印のない状態で写真を撮影した場合、どこの場所から撮影したのかを特定できず、アライメントが失敗した状況になります。つまり、特徴点がなければどこで何を撮影したのかがわからなくなってしまいます。
RealityScan
・無料で利用可能なフォトグラメトリアプリ
・撮影アシスト機能を搭載しているため、初心者でも簡単に扱える
・iOS/Androidどちらにも対応している ・3DモデルのエクスポートはSketchfabから可能
● 解説動画を見る
手順
対象物を中心に置き、撮影ボタンをクリック。対象物を螺旋状に撮影していく。撮影アシスト機能を搭載しているため、対象物にカメラを向けるだけで自動でシャッターを切ってくれる。
緑の点は情報が足りている部分、黄の点は詳細に欠ける部分として視覚化。撮影情報を満たしたら矢印ボタンをクリック。簡易的な3Dモデルが表示される。「クロップ」マークをタップし、次の工程へ。
灰色部分の大きさを変え3D化したい範囲を調整したら「Crop」をタップ。
点から面データに変換され、3Dモデルとして出力される。Qualityモードではスキャンできている部分は緑、できていない部分が赤で視覚化され、Colorモードでは着色した状態でのモデルが表示される。
情報の足りていない部分を追加撮影したら、3Dモデルの完成。モデルのエクスポートは外部サイト「Sketchfab」から可能。詳しくは解説動画を参照しよう。
追加撮影の方法
下部メニュー左の写真アイコンをクリックすることで追加撮影が可能。撮影情報の足りていない部分を補おう。
フォトグラメトリ撮影のコツ
「オーバーラップ」とは、写真同士の重なり具合のこと。隣接する写真同士が70%以上同じ場所を占めるよう撮影しよう。適切なオーバーラップを確保できていない場合、正常な処理が行えずモデルが破綻してしまう。
フォトグラメトリの撮影をする場合、カメラ位置をしっかりと変えながら撮影していくことが重要になる。
同じ位置から角度だけを変えて撮影するのはNG。基本的に撮影対象の物体とカメラが正対するように撮影をしよう。
建物の角を撮る場合、写真は多めに撮影しておくといい。写真の枚数が少ないと角が潰れた状態になることが多いので、エッジをしっかりと出すためには枚数が必要となる。
横軸だけでなく、縦軸（高さ方向）も位置を変えながら撮影することが重要。ドーム状になるように高さとカメラの傾きを変えるとより品質が向上する。
特徴点がおかしくなってしまうことで、3Dモデル生成時に悪影響を及ぼす可能性があるため、不要な写真は削除しよう。
LiDARスキャンについて
LiDARスキャンの特徴
レーザーを使った3Dスキャンで空間や大型の物体のスキャンを得意とする
LiDARはレーザーを使って3Dスキャンを行うため、LiDARセンサーを搭載しているiPhone12以降のProシリーズ、2020年以降のiPad Proシリーズのみ対応となっています。スキャンレンジは最長5mとなり、空間や大型の物体を得意とする反面、レーザーの照射する点同士の間隔が広いため、小さい物体にはレーザーが当たらず不向きです。
また、iPhoneのLiDARスキャンは、映像とIMU（慣性計測装置）の情報から3Dマッピングと自己位置推定（現在位置を推定する技術）のふたつをリアルタイムで行えるのが特徴です。LiDARスキャンの精度が悪い場合は、自己位置推定がうまくいっていないケースがほとんどです。
撮影した映像に映っている特徴点をLiDARが参照し、カメラがどこを撮影しているのかを自己位置推定できる。
iPhoneはジャイロセンサーと加速度計を搭載しているため、カメラの傾きや移動量を計測し、自己位置推定ができる。
自己位置推定が不十分だと何が起こる？
自己位置推定ができている
3Dスキャンの結果も正確になる
自己位置推定ができていない
3Dスキャンの結果も不正確になる
iPhoneのLiDARスキャン性能について
アップルがiPhoneにLiDARセンサーを搭載した理由は、 あくまで現実空間に3Dモデルを置くAR機能の強化が目的。アプリの性能としてはテーブルや床などの広い面さえ認識できれば良かったため、LiDARスキャンはおまけの機能という側面が強く、細かな部分まで3Dスキャンをすることは難しいという現状があることは認識しておこう。
Scaniverse
・無料で利用可能なLiDARスキャンアプリ（iOSのみ対応） ・スキャン対象に応じて推奨のスキャン距離を選択可能
・iPhoneでローカル処理可能なフォトグラメトリモードを搭載
※フォトグラメトリモードを使用する場合、iPhone XR以降全てのiPhoneに対応している
● 解説動画を見る
手順
録画開始位置を決め、録画ボタンをクリック。物体の特徴点を繋げていくように部屋全体をゆっくりと回りながら、スキャンが足りていない範囲（赤い斜線部分）がなくなるようにスキャンしていく。
まんべんなくスキャンしたら録画停止ボタンをタップ。
下部メニューの処理モードから「Area」を選択し、しばらく待つことでスキャン処理が完了する。
処理モードの違い
広い壁や床など、大きな面を再現しやすいモード
エッジやディテールなど、細かい部分を再現しやすいモード
スキャン処理が完了した状態。部屋の空間だけでなく、机の上のPCや壁のポスターまで再現することができた。
LiDARスキャンのコツ
・LiDARスキャン中はスマホが熱くなりやすい
・熱暴走が発生することで処理性能がダウン
・熱の籠るカバーを外してのスキャンが必須
・手ブレはテクスチャの品質に悪影響を及ぼす
・iPhoneは両手でしっかりと保持する
・iPhoneは横向きにしてもいい
・2度以上スキャンすることでゴースト（2重メッシュ）が生成されやすくなる
・時間が空くほどゴーストは発生しやすくなる
・広範囲をスキャンすると処理落ちしやすい
・スキャン精度も格段に低下する
・状況次第だが10m×10m程度がちょうどいい
・最大照射距離の5mでスキャンを行うと品質が悪くなりやすい
・対象との距離は3m以内を推奨
・iPhoneの処理が間に合うようゆっくりと動く
・徒歩速度の半分程度が目安
・視点移動時もゆっくり動くことを意識する
A.
3Dスキャンアプリから生成したモデルを出力できる形式はFBXやOBJ、GLB、USDZ、STLなど一般的な3DCGソフトに対応している種類のデータになるので、基本的には普段使用している3DCGソフトであれば何でも問題ないかと思います。私個人としては、Blenderを使用することが比較的多いですね。
A.
一概には言えませんが、映像作品はもちろんのこと、ゲーム市場であれば木や岩など無機物のフォトグラメトリデータがUnreal Engineのアセットストアに多数存在していたり、私の携わる土木・建築の現場においても3Dスキャンの導入がかなり進んでいたりと、今後より様々な場面での3Dスキャン活用が予想できます。
3Dスキャン技術の未来
リアルな空間を誰でも作れるようになり選択肢もより増えていくと予想ができる
現状、フォトグラメトリやLiDARスキャンが主流ではありますが、ここ数年で「NeRF」や「3D Gaussian Splatting」といったAIを駆使した新たな技術も増えており、3D映像や空間を作る技術自体はどんどん進化しています。
数年後には、スマホさえあればPCにデータを投げるだけでリアルな空間を誰でも簡単に作れるようになり、選択肢もより増えていくと思いますね。今までは多額の費用がかかってしまい、機材を揃えることも大変でしたが、現在はiPhoneひとつでいろいろなことが可能になりました。3Dスキャンは本当に面白い技術なので、皆さんもこの機会にぜひ3Dスキャンを始めてみてください。