AI
本日はAI枠です。 年始に恩人であり友人のエンジニアのかたから「環境構築で乗り越えられなかったけどホロモトさんなら突破できるかと」とSplaTAMと呼ばれるリポジトリを共有していただいていました。 今回はこちらの環境構築をゼロから行っていきます。 〇S…
本日はAI枠です。 LumaAIはスマートフォンでNeRFと呼ばれる技術を用いることで手軽に従来以上の3Dスキャンを行うことができるアプリおよびサービスです。 redhologerbera.hatenablog.com redhologerbera.hatenablog.com LumaAIは最近になってText to 3Dのサ…
本日はPython枠です。 今回は音源ファイルのシーケンスファイルを作成していきます。 もともとのきっかけは私の師であるがちもとさんが動画のシーケンスのやり方を紹介していたため、音源ファイルだとどうなるのかと思ってチャレンジします。 qiita.com 〇環…
本日はBlender Python枠です。 昨日PythonやOpenCVを用いて画像の姿勢推定を行いました。 今回はBlenderで外部からスクリプトを実行できるか試して行きます。 目的としては単純な興味もありますが、BlenderからBlender環境外のスクリプトを実行してその情報…
本日はAI枠です。 Pythonを用いて画像から人物の姿勢推定を行っていきます。 〇環境 ・Windows11PC ・Anaconda prompt (Anaconda3) ・OpenCV ・Git 〇環境構築とOpenCVの導入 ①Anacondaで任意のディレクトリを開きます。 cd (任意のパス) ②Pythonの仮想環境…
本日はAI枠です。 今回はAIサービスを使用して作詞作曲を行っていきます。 〇AIを利用して歌詞→作曲を行う Sunoは歌詞を与えることでその歌詞を歌の音源を作成するサービスです。 歌詞は作詞してももちろん良いのですが、今回は作詞もAIに行わせます。 ①Chat…
本日はAI枠です。 先日家族と電話で話している中でMirosoft Edgeについての話題が上がりました。 22年にOpenAIがChatGPTを発表してから、パートナーであるMicrosoftではMicrosoft365だけでなくEdgeにAI機能を取り入れる動きが加速しています。 筆者はメイン…
本日はAI枠です。 〇VALL-E-Xとは? Microsoftは音声生成系のAIとしてVALL-EというAIを発表しています。 VALL-Eは、未知の話者(任意のスピーカー)の3秒程度の録音データをプロンプトとして使用してその人の合成音声を作成することができます。 VALL-Eは、…
本日はVisualStudio枠です。 先日組織に所属しているGitHub Copilotユーザーに向けてGitHub Copilot Chatが利用可能になりました。 本日はVisualStudioCodeに向けて導入とそもそもGitHub Copilot Chatでは何ができるのかまとめていきます。 〇GitHub Copilot…
本日はAI枠です。 本日はMeta(旧Facebook)が発表したAIであるMusicGenを触っていきます。 〇MusicGenとは? MusicGenはMetaが開発した生成系AIです。 基なる音源とテキストプロンプトを与えることで新たな音源を生成することができます。 特徴としてオープン…
本日はAI枠です。 現在SMPLモデルを読み解いています。 このあたりから考え方など難しくなるのでしっかり読み解いていきたいです。 SMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。 www.youtube.com 〇スキャンデータ…
本日はAI枠です。 今回はAIのトレーニングに使用するためのデータの準備について学んでいる中で音声データの場合のノイズ削除についてツールを学びましたのでまとめていきます。 〇UltimateVocalRemoverGUIを使用する。 github.com ①Githubのリリースページ…
本日は昨日に続きSMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。 www.youtube.com 前回はモーションキャプチャの歴史を受けてスキャンの方法についての紹介を読んでいきました。 redhologerbera.hatenablog.com 今回…
〇バーチャルヒューマンのゴール コンピュータ上で構成されるバーチャルヒューマンの最終的なゴールは、リアルに見え、現実同様に動き、アニメーションさせるボーンを持ちシンプルで数学的に体の形を定義したモデルです。 SMPLはこれを目標に構築されている…
本日は昨日に続きSMPLについて著者のMichael BlackさんのYoutubeビデオを見ながら理解を深めていきます。 www.youtube.com 現在冒頭部で紹介されているモーションキャプチャの歴史を読み解いています。 〇モーションキャプチャの歴史 1880年代に登場した連写…
本日は引き続きSMPLモデルを理解するために、論文の著者であるマイケル氏自身が解説しているYoutubeビデオを読み解いていきます。 www.youtube.com 〇モーションキャプチャの歴史 redhologerbera.hatenablog.com redhologerbera.hatenablog.com 前回、前々回…
本日は昨日に引き続きSMPLモデルを理解するために資料を読み解いていきます。 SMPLモデルの論文の筆者であるMichael BlackさんがYoutubeビデオでSMPLについて解説をしています。 今回はそれを読み解きながらSMPLモデルについての理解を深めています。 www.yo…
本日はAI枠です。 先日よりちょいちょい特に3DCGやモーション系のAIを学習していますが、今回は広くモーションキャプチャなどの研究で使用されているSMPLモデルについてより理解していこうと思います。 〇SMPLモデルとは? SMPLモデルはアメリカのマックス…
本日はAI枠です。 先日SNSでPanoHeadという1枚の顔写真から後ろも含めた髪全体を構築できるものを知りました。 今回はこちらを触っていきます。 〇PanoHead sizhean.github.io リポジトリは次になります。 github.com 環境として以下が必要です。 ・NVIDIA…
本日はBlenderモデリング枠です。 先日TestToMotionの一つであるTEMOSの論文を見て勉強した際にSMPLモデルという手法を知りました。 今回は3Dの人体の動きと密接にかかわりがあるSMPLモデルについて実際に触っていきます。 〇SMPLモデルとは? SMPLモデルは…
本日はVisualStudio枠です。 〇GitHub Copilotとは? GitHub CopilotはGitHubが提供するコーディング支援のサブスクリプションサービスです。 C#やC、Pythonといった様々な言語に対応しており、コメントを入力するだけでAIによる自動コーディングやコード解…
本日はモデリング枠です。 近年生成系AIと呼ばれるAI群はOpenAIを中心に爆発的速度で広まっています。 先日テキストから人体の動きを生成するText To Motionと呼ばれる部類のMotionGPTが登場しました。 motion-gpt.github.io 本記事公開本日時点ではGitHubペ…
本日はUnity枠です。 UnityのHDRPでアプリを作成している際にNVIDIAのDLSSについて調べたので今回まとめていきます。 〇DLSSとは? DLSS(DeepLarning Super Sampring)はNVIDIAが開発、発表したグラフィックに関する技術です。 基本的にRTXシリーズのグラボで…
本日はGitHub Copilotを試していきます。 〇GitHub Copilotとは? GitHub Copilotは23年に登場した、AIによるプログラムコードの自動生成を実現するための開発者向けツールです。 ChatGPTなどの開発を行っているOpenAIと数年前にMicrosoftによって買収されて…
本日はShader&AI枠です。 23年に入りChatGPTの普及が爆発的になっていますが、先日Unityのエディタ内でChatGPTを使用してシェーダーを作成するテストリポジトリが公開されました。 今回はこちらを試していきます。 〇ChatGPTとは? ChatGPTはDALL・E2やStab…
本日はAI枠です。 〇LumaAIとは? LumaAIは今年の秋前にベータ版がTestflightによってリリースされたiPhone向けのアプリケーションです。 特徴としてNeRFを用いて従来と違った手法で写真から3Dモデルを構築します。 従来のフォトグラメトリと同じように見え…
本日は昨日に引き続きLumaAIを触っていきます。 redhologerbera.hatenablog.com 〇LumaAIとは? LumaAIは2022年に登場した新しいサービスです。 iPhoneを使用してNeRFを活用しモデルを構築することができます。 lumalabs.ai ベータ版は先日リリースされまし…
本日は3Dモデリング枠です。 先日NeRFを応用したスマホサービスとしてLumaというものが登場していました。 今回先行リリースの申請が認証されアプリを試すことができるようになったので試していきます。 〇NeRFとは? NeRFはNeural Radiance Fieldsの略で日…
本日は昨日に引き続きStable Diffusionを導入していきます。 昨日は公式のリポジトリからCloneしてPythonの環境構築までを行いました。 redhologerbera.hatenablog.com 本日は学習モデルを用意して実行までを行います。 〇学習モデルの用意 Huggingfaceを使…
本日はAI学習枠です。 Stable diffusionをローカルのPCに導入していきます。 〇Stable diffusionとは? stable diffusionは22年8月にオープンソースで公開されたテキストベースの画像生成AIです。 イギリスのStability AIによって公開され日本でもここ数か…