HoloLens 2のHandTrackingでキャラクターを触る。

本日はHoloLens アプリの表現の実験枠です。

ここ何回かでHoloLens 2でのキャラクター表現に関する取り組みを行っています。

今回はHoloLens 2のHandTrackingを使用してキャラクターに触る表現を行います。

〇キャラクターとのインタラクション

　VRMのキャラクターにはキャラクターのインタラクションを表現する様々なコンポーネントが用意されています。

[VRMLookAt]コンポーネントはキャラクターの目線を動かすコンポーネントです。

f:id:Holomoto-Sumire:20200807093104j:plain

　前回はこのコンポーネントを使用してHoloLens 2のEyeTrackingを使用してユーザーを見てくれる機能を作りました。

redhologerbera.hatenablog.com

　[VRMBlendShape]はキャラクターの表情(ShapeKey)を変化させるコンポーネントです。

　 f:id:Holomoto-Sumire:20200807093546j:plain

　前回は[Come On Smile!]というと笑ってくれる仕組みを作りました。

redhologerbera.hatenablog.com

　今回はVRMBlendShapeとHoloLens 2のHandTrackingを用いてキャラクターに触る表現を行いました。

〇スクリプト

　今回以下のようなスクリプトを用意しました。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using VRM;
using System;
using System.Linq;
using RootMotion.FinalIK;


public class VRMReactor : MonoBehaviour
{
    //VRMData
    [SerializeField] GameObject _vrm;
     VRMBlendShapeProxy _blendShapeProxy;
    VRMLookAtHead _vRMLookAtHead;

    FaceAnimation FaceAnimation;

    //UserData
    Transform _usersTransform;


    //Parameter
    public bool isLookHead;

    // Start is called before the first frame update
    void Start()
    {
        if (_vrm == null) 
        {
            _vrm = this.gameObject;
        }
        _blendShapeProxy = this.gameObject.GetComponent<VRMBlendShapeProxy>();
        _vRMLookAtHead = this.gameObject.GetComponent<VRMLookAtHead>();
        _usersTransform = GameObject.Find("UIRaycastCamera").transform;
        FaceAnimation = this.GetComponent<FaceAnimation>();
        VRIK vrik = _vrm.GetComponent<VRIK>();
        Debug.Log(_usersTransform);
    }

    // Update is called once per frame
    void Update()
    {
      
    }

    public void HeadLook()
    {
      
        if (isLookHead)
        {
            isLookHead = false;
        }
        else
        {
            isLookHead = true;
        }
    }

    public void VRMLookAtUser()
    {
        Debug.Log("Hoge");
        _vRMLookAtHead.Target = _usersTransform; 
    }

    public void VRMUnLookAtUser()
    {
        _vRMLookAtHead.Target = null;
    }

    public void BlendShapeChangeAngly()
    {
        resetBlendShape();
        _blendShapeProxy.SetValue(BlendShapePreset.Angry, 1f);

        FaceAnimation.ModulateRatio = 0f;
    }
    public void BlendShapeChangeFun()
    {
        resetBlendShape();

        _blendShapeProxy.SetValue(BlendShapePreset.Fun, 1f);
        FaceAnimation.ModulateRatio = 0f;
    }
    public void BlendShapeChangeJoy()
    {
        resetBlendShape();
        _blendShapeProxy.SetValue(BlendShapePreset.Joy,1f);
 
        FaceAnimation.ModulateRatio = 0f;
        Debug.Log("Joy");
    }
    public void resetBlendShape() 
    {
        _blendShapeProxy.SetValue(BlendShapePreset.Angry, 0f);
        _blendShapeProxy.SetValue(BlendShapePreset.Fun,0f);
        _blendShapeProxy.SetValue(BlendShapePreset.Joy, 0f);
        FaceAnimation.ModulateRatio = 1f;
    }
}

これは以前の記事でも使用したものです。これをVRMキャラクターにアタッチします。

f:id:Holomoto-Sumire:20200807094322j:plain