本日はAI枠です。
先日よりちょいちょい特に３DCGやモーション系のAIを学習していますが、今回は広くモーションキャプチャなどの研究で使用されているSMPLモデルについてより理解していこうと思います。
〇SMPLモデルとは？
SMPLモデルはアメリカのマックスプランクインテリジェンス研究所が提唱したポーズによって自然に変形、リアルな人間同様の細かい動きをできる様々な形状の人体のアニメーションを作成することをゴールとして作られ、height,weight,(toroso height)+(shoulder width),(chest breadth)+(neck height)などの１０の成分特徴βと７２のパラメータΘを入力とすることで３Dモデルが作れるようにする手法とアルゴリズムとそれによって作られたモデルを指します。
先日読んでみたTEMOSも基礎技術としてSMPLモデルを使用していました。
また先日SMPLモデルを実際にBlenderに読み込んでいます。
しかし筆者の中でまだどのように使用できるか？何がよいのかといった重要部が理解できていないところがあったので、今回は次のYoutubeビデオを見て理解を深めます。
このビデオはCVPR 2021にて公開されたものでマックスプランクインテリジェンス研究所の創設メンバーでありSMPLの論文の筆者であるMichael J. Blackさんに自身によってわかりやすくまとめられています。
〇モーショントラッキングの歴史-SMPL
今回はSMPLモデル開発にあたってモーションキャプチャ（トラッキング）の歴史が紹介されており興味深かったので改めて自分で調べた情報を含めまとめていきます。
〇クロノフォトグラフ(chronophotograph)
クロノフォトグラフはフランスの科学者であり写真家であるエティエンヌ・ジュール・マレー（Étienne-Jules Marey）が1882年に製造した装置で12fpsで連続して写真を撮影することで人間を含む動物などのアニメーションを研究していました。
これが人類初のモーションキャプチャの取り組みとして影響を与えています。
〇ポイントライト
クロノフォトグラフィーの手法に心理学者のGunnar Johanssonは1970年代に編み出した手法で、体の各部に発行ライトを取り付け点人間を作成しました。
クロノフォトグラフィーの登場からざっくり100年たっていますがこの間にも無数のモーションキャプチャの手法が考えられてきましたがJohanssonのアプローチが他と異なったのは彼が心理学者であり、動きの認識についての心理学的な視点から研究を行ったことです。
彼の方法は、視覚情報がどのように動きを解釈するかという問いに答えを求めるためのもので、ほかの研究者たちが取り組んでいた問いとは異なっていました
つまり、ほかの研究者が動きをそのまま正確にとらえることを目的としていたのに対してJohanssonはその動きそのものが何をしているのか？例えば座っているのか？歩いているのか？というのを知ることを目的にしていました。
そのためシンプルな手法でその動きに意味を持たせるデータを取ることができこの艦替えは現代のモーションキャプチャの基礎を築いています。
基にフレームごとの画像から人体の骨格（Joint）を推定する手法は現在でも続いており、例えば現在も研究などで一般的に使用されているOpenPoseでも同様の手法を使用しています。
Johanssonのアプローチは「特徴点を復元する」という視点で現在でも引き継がれておりOpenPoseなどに代表されている。
〇関節ではなく皮膚に着目するアプローチ
SMPLが上記のアプローチと異なるのはJoint(関節)に着目していない点です。
実際の人間では関節というのは皮膚に覆われ観測できません。
例えば人同士が抱き合うというポーズの場合関節ではなく皮膚全体がたがいに接触しています。
また、服装などによってさらに関節の認識が難しくなります。
この点皮膚に着目した場合は観測しやすいという特徴があります。
この関節ではなく皮膚に着目するという考え自体は1973年にスタンフォード大の教授であったThomas Binfordらが行っており、彼らはプリミティブオブジェクトによって構成される３Dの人形を用いて複雑な人体の表現を簡単なオブジェクトであらわそうとしていました。
〇David hoogによる人類初の3Dモーションキャプチャの研究
1983年David Hoogによって実際に画像に関連付ける研究が行われていました。
Davidは画像加工でエッジ検出を行い3Dのモデルをあてはめました。これが最初の３Dでのモーションキャプチャの試みと言われているそうです。
Davidのモデルはプリミティブな3Dオブジェクトとその空間的位置関係について手作業で位置や回転などコード化されていました。
〇空白期と関節ではなく皮膚（体全体）をモーションキャプチャに用いるアプローチ
1983年にDavidによって行われた研究から10年近くは皮膚をモーションキャプチャに用いるアプローチの研究は進展しませんでした。
これらの理由としてマシンパワーや研究としてのブームなどが考えられます。
そして1993年に再びこのアプローチが動き出しました。
長くなってしまったので続きは次回見ていきます。
1880年代のコンピュータが生まれる前から２Dから動きを解析するアプローチがあったことは驚きました。
