深度センサーを備えたスマートフォンカメラからのデータ処理


Agisoft Metashape Professional バージョン 1.8 から、デプス(深度)センサーを備えたスマートフォンの読み込みとデータ処理をサポートします。

深度センサーは、TrueDepth カメラを搭載した Apple社のデバイス、つまり iPhone の 10代目バージョン (SE を除く) 以降のフロントカメラと、iPad pro のフロント カメラに搭載されています。

また、Androidではデプス情報の保存をサポートしたデバイスで、"Google Camera" アプリケーションを通して保存できます。詳しくは "Google Camera" アプリケーションのデプスデータサポートデバイスリストを参照してください。

https://developer.android.com/training/camera2/Dynamic-depth-v1.0.pdf
および
https://developers.google.com/ar/devices

TrueDepth カメラおよび Google Camera アプリケーション形式の場合、デプス情報はキャプチャされた画像の追加属性として記録されています。このデータ形式の場合 Metashapeのファイル > インポート > "レーザー スキャンのインポート" コマンドを使用して、画像を Metashape Pro にインポートします。 "レーザー スキャンのインポート" ダイアログで、目的の写真と前処理された写真が保存されたディレクトリを選択します:

depthSensor01

カメラによってはデプス情報が別の画像ファイルとして保存される場合があります。このケースではスクリプトを使用してデータをインポートすることをお勧めします。このようなカメラからのデータセットには、カラー写真とデプスマップ付きの画像の2つの画像サブセットが含まれます。以下のスクリプトを使用してデプス情報を Metashape Pro にインポートします。

Metashape.app.document.chunk.importLaserScans(filenames = ["/path/to/depth/image-1"], color_filenames = ["/path/to/corresponding/color/image-1"], image_path = "/path/to/destination/folder/{filename}.tif");
解説:
  • filenames - デプスマップのパスとファイル名
  • color_filenames - カラー写真のパスとファイル名
  • image_path - プレ処理された写真のパスとファイル名テンプレート
ノート:
複数の画像を使用する場合は、それらのパスをカンマで区切る必要があります。
例:
filenames = ["//example/IMG_0860_depth.tif", "//example/IMG_0861_depth.tif", "//example/IMG_0862_depth.tif"]

または、次のコマンドを使用して、各フォルダーからすべての TIFF ファイルを選択することもできます (デプスマップおよびRGBイメージのフォルダー)

import Metashape
filenames = Metashape.app.getOpenFileNames() #select all TIFF files from "Depth maps" folder
color_filenames = Metashape.app.getOpenFileNames() #select all JPEG files from "RGB" folder
Metashape.app.document.chunk.importLaserScans(filenames=filenames , color_filenames=color_filenames , image_path = "D:/New Folder/{filename}.tif") #command for import

スクリプトを実行すると、デプスマップを含む画像がプロジェクトに追加されます。

depthSensor02
ノート:
Metashape Professional 2.0.0 から、"デプスマップのインポート"コマンドが追加されました (ファイル >> インポート >> デプスマップのインポート)。
"デプスマップのインポート" コマンドは、TOFデプスセンサーまたは同様のデバイスを搭載したスマートフォンからの RGBD 画像にのみ使用できます。 PTX および E57 のインポート形式は引き続きサポートされていますが、このワークフローは Metashape 2.0.0 では廃止されています。