夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

SMPLモデルを理解する その④モーションキャプチャの歴史  2000年以降のブレイクスルー

本日は昨日に続きSMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。

www.youtube.com

現在冒頭部で紹介されているモーションキャプチャの歴史を読み解いています。

〇モーションキャプチャの歴史 

1880年代に登場した連写装置から人体の動きの可視化の研究が始まり、1970年代ごろより、シンプルな3Dの人体モデルを画像に合わせる研究が始まりました。

また2000年前後に3Dスキャンやそのデータベースの登場によりブレイクスルーが発生し、データに統計学的に紐づけるようなアプローチが始まりました。

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

〇第二のブレイクスルー

第二のブレイクスルーは2003年に発生しました。

スタンフォード大のDrago angelovの博士論文では これがSCAPEと呼ばれています。

これは複数の人物の製紙スキャンデータと1名の人物のポーズを紐づけた最初の取り組みでした。

3角ポリゴンに基づき、体系とポーズを変えることができるという点で今までにない取り組みでした。

SCAPEをもとに全身のキャプチャの研究を2003年以前より行っていたBrett Allenは2006年に新しいモデルを提案しました。

Allenはモデルをテンプレート化しました。

これの欠点はただ、テンプレート化するためのトレーニングデータを持っていなかったことによる最適化の困難さでした。

〇トレーニングデータの使用

SMPLモデルの著者のMichaelさんは2006年に画像からモデルを合わせるモデルを作成しCVPR 2007で発表しました。

現実の写真(2D)により一致する3Dの人間を作るうえで、必要なのが3Dポーズ推定で、Michaelさんのチームの研究では従来よりも精度が高い結果を出せたそうです。

これらの取り組みはMicrosoftなども行っており、テンソルベースのモデルであるTenboを使用していました。

https://openaccess.thecvf.com/content_cvpr_2013/papers/Chen_Tensor-Based_Human_Body_2013_CVPR_paper.pdf

2010年前後の時代のアイデアは体系の相関関係をモデル化することでした。

ポーズに関してはまだトレーニングデータが足りずという状況でした。


ここまでが1880年から始まった人の動きをキャプチャする研究の近代までの歴史でした

ここからSMPLモデルについての紹介が続きます。

ここからはキリが良いので次回まとめていきます。