3Dモーションキャプチャー
２Dカメラ画像から人の検出、形状、ポーズを再構成するディープラーニングベースのシステム。
このソリューションは、複雑なマルチカメラのセットアップ、ウェアラブルマーカー、高価なスキャナー、キャリブレーションに敏感なセンサーに基づく、従来の人間の3D再構成システムに代わる低コストの代替手段を提供します。人の3D再構成は、エンターテイメント、スポーツ科学、医療、産業安全などの分野で広く適用可能です。
現在、人とマシーンの相互作用が日常生活の重要な要素となっている時代になっています。ほとんどのロボットやインテリジェントシステムは、物理的な現実の表現を得るために視覚情報、すなわちRGBカメラを使用していますが、3D情報が必要な場合、通常は静的なRGBカメラだけでは十分ではなく、より複雑なセンサー設定が必要となります。解決策としては、古典的なコンピュータビジョン理論では不可能とされていた、1枚のRGB画像から人間の3D情報を再構成するという問題に取り組むものです。最近のAIの発展により、この目標はもはや達成不可能ではありません。このシステムは、ディープラーニングを用いた人間の3次元再構成の分野における基礎研究の成果であり、その主な特徴は、最先端の物体検出と新しい人間メッシュモデルの利点を活用した新しいニューラルネットワークアーキテクチャにあります。
機能
- 高価なセンサー設定は不要。必要なのは市販のRGBカメラのみ
- スタンドアロン（外部人検知機無し）
- 人物のバウンディングボックスを検出し、3次元骨格と3次元メッシュを再構築
- 精度（POCデータセットの関節あたりの誤差66mmの平均値）
- 推論の高速化（2.2FPS vs. 0.7FPS）
- 汎用性の高い出力 → 互換性（Unity, Blender, Maya …）
実装
大規模な実在する人間のデータセットを使ってトレーニングを行った後の最終的な実装では、対応するライブラリを搭載したGPUを搭載したコンピュータと、市販の単眼カメラが必要となるだけです。提案するアーキテクチャはスタンドアロンであり、すべてのコンポーネントはエンドツーエンドで学習されます（共に学習します）。
実例
開発されたPOCは、リアルタイムの人間の形状とポーズの再構成を必要とするアプリケーションに対する本システムの利点を示しています。最終的なモデルの使用例としては、以下のようなものが考えられます。
- 拡張現実と混合現実：実環境とシミュレーション/仮想環境を人と統合します。テレプレゼンス、医療トレーニングシステム、スポーツの視覚化システムなどに使用されています。
- 産業用ロボットシミュレーション：人間とロボットの連携、産業用安全、人間の障害物回避（ロボット軌道計画）
- 人間の動きや軌跡の予測、行動認識：機能拡張のための更なる開発と組み合わせることができます。