本日は昨日に続きSMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。
現在冒頭部で紹介されているモーションキャプチャの歴史を読み解いています。
〇モーションキャプチャの歴史
1880年代に登場した連写装置から人体の動きの可視化の研究が始まり、1970年代ごろより、シンプルな3Dの人体モデルを画像に合わせる研究が始まりました。
また2000年前後に3Dスキャンやそのデータベースの登場によりブレイクスルーが発生し、データに統計学的に紐づけるようなアプローチが始まりました。
〇第二のブレイクスルー
第二のブレイクスルーは2003年に発生しました。
スタンフォード大のDrago angelovの博士論文では これがSCAPEと呼ばれています。
これは複数の人物の製紙スキャンデータと1名の人物のポーズを紐づけた最初の取り組みでした。
3角ポリゴンに基づき、体系とポーズを変えることができるという点で今までにない取り組みでした。
SCAPEをもとに全身のキャプチャの研究を2003年以前より行っていたBrett Allenは2006年に新しいモデルを提案しました。
Allenはモデルをテンプレート化しました。
これの欠点はただ、テンプレート化するためのトレーニングデータを持っていなかったことによる最適化の困難さでした。
〇トレーニングデータの使用
SMPLモデルの著者のMichaelさんは2006年に画像からモデルを合わせるモデルを作成しCVPR 2007で発表しました。
現実の写真(2D)により一致する3Dの人間を作るうえで、必要なのが3Dポーズ推定で、Michaelさんのチームの研究では従来よりも精度が高い結果を出せたそうです。
これらの取り組みはMicrosoftなども行っており、テンソルベースのモデルであるTenboを使用していました。
2010年前後の時代のアイデアは体系の相関関係をモデル化することでした。
ポーズに関してはまだトレーニングデータが足りずという状況でした。
ここまでが1880年から始まった人の動きをキャプチャする研究の近代までの歴史でした
ここからSMPLモデルについての紹介が続きます。
ここからはキリが良いので次回まとめていきます。