夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

DocomoのAIAgentAPIを使ってみる。 チュートリアル その①

本日はUnity×APIの調査枠です。

今回はdocomoより提供されているAIのAPIをUnityで使用して学んでいきます。

〇今回作成するチュートリアル

今回はAgentcraftTMを使用した音声対話サンプルアプリを作成します。

今回はこちらの公開されているスライドを参考に進めます。

docs.sebastien.ai

〇環境

・Unity2020.1.10f1

・Python2.9

〇環境構築

①次のGithubからサンプルプロジェクトを取得します。

github.com

こちらはOculus Quest用、Magic Leap one用の説明もあります。

②サンプルプロジェクトをUnityで開きます。

③SpeachSDKは次から入手します。

github.com

Unityにインポートします

f:id:Holomoto-Sumire:20201219122103j:plain

〇Agentcraftへの登録

①次のリンクから[Agentcraft]のサイトにつながります。

agentcraft.sebastien.ai

利用規約を読み[同意する]を選択します。

f:id:Holomoto-Sumire:20201219111505j:plain

次のような画面になります。

f:id:Holomoto-Sumire:20201219111632j:plain

③エージェントから[追加]を選択します。

f:id:Holomoto-Sumire:20201219111920j:plain

[新規エージェント]が追加されます。

f:id:Holomoto-Sumire:20201219112014j:plain

④作成された新規エージェントを選択して名前を変更します。

f:id:Holomoto-Sumire:20201219112139j:plain

〇認証用トークンを作成

①作成したエージェントの[設定]を選択して設定のウィンドウを開きます。

f:id:Holomoto-Sumire:20201219112505j:plain

②[バイスの追加]を選択して[バイストーク]と[クライアントシークレット]をコピーします。

f:id:Holomoto-Sumire:20201219112650j:plain

③エディタで[GetTrialDeviceToken.py]を開きクライアントシークレットを埋め実行します。

f:id:Holomoto-Sumire:20201219120852j:plain

これによって[.trial_device_id]、[.trial_device_token]、[.trial_refresh_token]が生成されます。

f:id:Holomoto-Sumire:20201219121028j:plain

生成された[.trial_device_token]を開いて内部のトークンをコピーします。

〇Unityプロジェクトの構築

Unityのサンプルプロジェクトを構築していきます。

①[Assets]フォルダ、[Scripts]から[SpeakSDKManager]を開きます。

InitializeSpeakSDK()のデバイストークンにコピーしたものを貼り付けます

f:id:Holomoto-Sumire:20201219121429j:plain

以上で準備が完了しました。

②[Assets]から[Scenes]、[main]シーンを開きます。

f:id:Holomoto-Sumire:20201219214428j:plain

③実行して[SDKStart]を選択します。

[SDKStart]が緑色であることを確認して[こんにちは!]と発話します。

f:id:Holomoto-Sumire:20201219214650j:plain

④音声を認識して[こんにちは]という文字が入力され、対話が行われることを確認します。

f:id:Holomoto-Sumire:20201219214829j:plain

以上で動作確認が完了しました。