夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

AI

SplaTAMを環境構築して実行する(要調査)

本日はAI枠です。 年始に恩人であり友人のエンジニアのかたから「環境構築で乗り越えられなかったけどホロモトさんなら突破できるかと」とSplaTAMと呼ばれるリポジトリを共有していただいていました。 今回はこちらの環境構築をゼロから行っていきます。 〇S…

LumaAIを用いてTextTo3Dを試す。

本日はAI枠です。 LumaAIはスマートフォンでNeRFと呼ばれる技術を用いることで手軽に従来以上の3Dスキャンを行うことができるアプリおよびサービスです。 redhologerbera.hatenablog.com redhologerbera.hatenablog.com LumaAIは最近になってText to 3Dのサ…

Pythonを使用して音源ファイルのシーケンスを行う

本日はPython枠です。 今回は音源ファイルのシーケンスファイルを作成していきます。 もともとのきっかけは私の師であるがちもとさんが動画のシーケンスのやり方を紹介していたため、音源ファイルだとどうなるのかと思ってチャレンジします。 qiita.com 〇環…

Blenderで外部Pythonスクリプトを実行する

本日はBlender Python枠です。 昨日PythonやOpenCVを用いて画像の姿勢推定を行いました。 今回はBlenderで外部からスクリプトを実行できるか試して行きます。 目的としては単純な興味もありますが、BlenderからBlender環境外のスクリプトを実行してその情報…

Pythonを使用して画像から人物の姿勢推定を行う

本日はAI枠です。 Pythonを用いて画像から人物の姿勢推定を行っていきます。 〇環境 ・Windows11PC ・Anaconda prompt (Anaconda3) ・OpenCV ・Git 〇環境構築とOpenCVの導入 ①Anacondaで任意のディレクトリを開きます。 cd (任意のパス) ②Pythonの仮想環境…

AIを活用した歌詞作成と作曲

AI

本日はAI枠です。 今回はAIサービスを使用して作詞作曲を行っていきます。 〇AIを利用して歌詞→作曲を行う Sunoは歌詞を与えることでその歌詞を歌の音源を作成するサービスです。 歌詞は作詞してももちろん良いのですが、今回は作詞もAIに行わせます。 ①Chat…

Microsoft系ブラウザで使えるAI機能で作業効率を上げる

AI

本日はAI枠です。 先日家族と電話で話している中でMirosoft Edgeについての話題が上がりました。 22年にOpenAIがChatGPTを発表してから、パートナーであるMicrosoftではMicrosoft365だけでなくEdgeにAI機能を取り入れる動きが加速しています。 筆者はメイン…

数秒の単独ボイスデータから話者の特徴を認識して入力したテキストに声として反映させるVALL-E-Xを触る

AI

本日はAI枠です。 〇VALL-E-Xとは? Microsoftは音声生成系のAIとしてVALL-EというAIを発表しています。 VALL-Eは、未知の話者(任意のスピーカー)の3秒程度の録音データをプロンプトとして使用してその人の合成音声を作成することができます。 VALL-Eは、…

VSCodeでGitHub Copilot Chatを導入する

AI

本日はVisualStudio枠です。 先日組織に所属しているGitHub Copilotユーザーに向けてGitHub Copilot Chatが利用可能になりました。 本日はVisualStudioCodeに向けて導入とそもそもGitHub Copilot Chatでは何ができるのかまとめていきます。 〇GitHub Copilot…

Metaの新しい生成系AI MusicGenを試す。

AI

本日はAI枠です。 本日はMeta(旧Facebook)が発表したAIであるMusicGenを触っていきます。 〇MusicGenとは? MusicGenはMetaが開発した生成系AIです。 基なる音源とテキストプロンプトを与えることで新たな音源を生成することができます。 特徴としてオープン…

SMPLモデルを理解する その⑦最適化と登録

AI

本日はAI枠です。 現在SMPLモデルを読み解いています。 このあたりから考え方など難しくなるのでしっかり読み解いていきたいです。 SMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。 www.youtube.com 〇スキャンデータ…

UltimateVocalRemoverGUI(UVR5)を使用して音源からBGMを削除する

AI

本日はAI枠です。 今回はAIのトレーニングに使用するためのデータの準備について学んでいる中で音声データの場合のノイズ削除についてツールを学びましたのでまとめていきます。 〇UltimateVocalRemoverGUIを使用する。 github.com ①Githubのリリースページ…

SMPLモデルを理解する その⑥スキャンデータとテンプレートモデルの問題点とその解消

AI

本日は昨日に続きSMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。 www.youtube.com 前回はモーションキャプチャの歴史を受けてスキャンの方法についての紹介を読んでいきました。 redhologerbera.hatenablog.com 今回…

SMPLモデルを理解する その⑤Scapeモデルの学習データの作成 

AI

〇バーチャルヒューマンのゴール コンピュータ上で構成されるバーチャルヒューマンの最終的なゴールは、リアルに見え、現実同様に動き、アニメーションさせるボーンを持ちシンプルで数学的に体の形を定義したモデルです。 SMPLはこれを目標に構築されている…

SMPLモデルを理解する その④モーションキャプチャの歴史  2000年以降のブレイクスルー

AI

本日は昨日に続きSMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。 www.youtube.com 現在冒頭部で紹介されているモーションキャプチャの歴史を読み解いています。 〇モーションキャプチャの歴史 1880年代に登場した連写…

SMPLモデルを理解する その③モーションキャプチャの歴史 機械学習の登場

AI

本日は引き続きSMPLモデルを理解するために、論文の著者であるマイケル氏自身が解説しているYoutubeビデオを読み解いていきます。 www.youtube.com 〇モーションキャプチャの歴史 redhologerbera.hatenablog.com redhologerbera.hatenablog.com 前回、前々回…

SMPLモデルを理解する その②モーションキャプチャの歴史1990年代~機械学習が登場するまで

AI

本日は昨日に引き続きSMPLモデルを理解するために資料を読み解いていきます。 SMPLモデルの論文の筆者であるMichael BlackさんがYoutubeビデオでSMPLについて解説をしています。 今回はそれを読み解きながらSMPLモデルについての理解を深めています。 www.yo…

SMPLモデルを理解する その①モーションキャプチャの歴史とSMPL

AI

本日はAI枠です。 先日よりちょいちょい特に3DCGやモーション系のAIを学習していますが、今回は広くモーションキャプチャなどの研究で使用されているSMPLモデルについてより理解していこうと思います。 〇SMPLモデルとは? SMPLモデルはアメリカのマックス…

一枚の写真から顔のアバターを構築するPanoHeadを試す

AI

本日はAI枠です。 先日SNSでPanoHeadという1枚の顔写真から後ろも含めた髪全体を構築できるものを知りました。 今回はこちらを触っていきます。 〇PanoHead sizhean.github.io リポジトリは次になります。 github.com 環境として以下が必要です。 ・NVIDIA…

SMPLモデルをBlenderで触る

本日はBlenderモデリング枠です。 先日TestToMotionの一つであるTEMOSの論文を見て勉強した際にSMPLモデルという手法を知りました。 今回は3Dの人体の動きと密接にかかわりがあるSMPLモデルについて実際に触っていきます。 〇SMPLモデルとは? SMPLモデルは…

VSCodeでGitHubCopilotを導入する

本日はVisualStudio枠です。 〇GitHub Copilotとは? GitHub CopilotはGitHubが提供するコーディング支援のサブスクリプションサービスです。 C#やC、Pythonといった様々な言語に対応しており、コメントを入力するだけでAIによる自動コーディングやコード解…

テキストベースで人体のモーションを作成するTEMOSの論文を読む

本日はモデリング枠です。 近年生成系AIと呼ばれるAI群はOpenAIを中心に爆発的速度で広まっています。 先日テキストから人体の動きを生成するText To Motionと呼ばれる部類のMotionGPTが登場しました。 motion-gpt.github.io 本記事公開本日時点ではGitHubペ…

NVIDIAのDLSSについてメリット、デメリット、Untiyでの使用法について知らべる

本日はUnity枠です。 UnityのHDRPでアプリを作成している際にNVIDIAのDLSSについて調べたので今回まとめていきます。 〇DLSSとは? DLSS(DeepLarning Super Sampring)はNVIDIAが開発、発表したグラフィックに関する技術です。 基本的にRTXシリーズのグラボで…

GitHub Copilotを試す

本日はGitHub Copilotを試していきます。 〇GitHub Copilotとは? GitHub Copilotは23年に登場した、AIによるプログラムコードの自動生成を実現するための開発者向けツールです。 ChatGPTなどの開発を行っているOpenAIと数年前にMicrosoftによって買収されて…

Unity上でChatGPTを使用してシェーダーを作成するAIShaderを試す。

本日はShader&AI枠です。 23年に入りChatGPTの普及が爆発的になっていますが、先日Unityのエディタ内でChatGPTを使用してシェーダーを作成するテストリポジトリが公開されました。 今回はこちらを試していきます。 〇ChatGPTとは? ChatGPTはDALL・E2やStab…

LumaAIでフレンチホルンをキャプチャする

本日はAI枠です。 〇LumaAIとは? LumaAIは今年の秋前にベータ版がTestflightによってリリースされたiPhone向けのアプリケーションです。 特徴としてNeRFを用いて従来と違った手法で写真から3Dモデルを構築します。 従来のフォトグラメトリと同じように見え…

LumaAIでiPhoneを利用してNeRFの3Dモデルを作成する その②

本日は昨日に引き続きLumaAIを触っていきます。 redhologerbera.hatenablog.com 〇LumaAIとは? LumaAIは2022年に登場した新しいサービスです。 iPhoneを使用してNeRFを活用しモデルを構築することができます。 lumalabs.ai ベータ版は先日リリースされまし…

LumaAIでiPhoneを使用してNeRFの3Dモデルを作成する

本日は3Dモデリング枠です。 先日NeRFを応用したスマホサービスとしてLumaというものが登場していました。 今回先行リリースの申請が認証されアプリを試すことができるようになったので試していきます。 〇NeRFとは? NeRFはNeural Radiance Fieldsの略で日…

Stable diffusionを導入する その② 学習モデルの用意

AI

本日は昨日に引き続きStable Diffusionを導入していきます。 昨日は公式のリポジトリからCloneしてPythonの環境構築までを行いました。 redhologerbera.hatenablog.com 本日は学習モデルを用意して実行までを行います。 〇学習モデルの用意 Huggingfaceを使…

Stable diffusionを導入する その①

AI

本日はAI学習枠です。 Stable diffusionをローカルのPCに導入していきます。 〇Stable diffusionとは? stable diffusionは22年8月にオープンソースで公開されたテキストベースの画像生成AIです。 イギリスのStability AIによって公開され日本でもここ数か…