夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

MRTKv2

MRTKのHandMeshに関して調べる

本日はMRTK調査枠です。 HoloLens 2やOculus Quest 2、LeapMotion、Varjo等のxRデバイスではMRTKを使用することでほぼ共通のコードでアプリを作成することができます。 今回は[HandTracking]で使用されるオブジェクトに関して調べていきます。 〇MRTKのHandT…

HoloLens アプリに3DLauncherを実装する。HoloLensAdventカレンダー2021 7日目

本日はHoloLens 小ネタ枠です。 HoloLensではアプリを起動するランチャーとして2Dランチャーと3Dランチャーの二種類を選択することができます。 通常特に何も設定していない場合は2Dランチャーが作成され、3Dランチャーを作成するためには専用の工程を挟む…

MRTKのOptimize Windowの使い方 HoloLens Adventカレンダー2021 3日目

本日はHoloLensAdventカレンダー3日目の記事です。 〇HoloLens Adventカレンダーとは? HoloLens Adventカレンダーは技術関連投稿サイトのQiita上で毎年12月に開かれているイベントの一つです。 あるテーマに沿って12月1日から25日までの間毎日誰かしらが情…

HoloLenxでXboxコントローラーを使用する スティック入力の取得

だいぶ期間が明いてしまいましたが、本日はHoloLens×外部コントローラーです。 HoloLensではデフォルトでXBox Controllerを接続し使用することができます。 接続方法に関しては以前の記事にまとめています。 redhologerbera.hatenablog.com またUnityでは[In…

MRTKワイヤフレームShaderを調査する。 その④ 頂点シェーダーの処理

本日はMRTK調査枠です。 現在ジオメトリシェーダーの勉強を兼ねMRTKで提供されているワイヤフレームシェーダーの中身を追っています。 redhologerbera.hatenablog.com 〇頂点シェーダー v2g vert(appdata_base v) { UNITY_SETUP_INSTANCE_ID(v); v2g o; o.vi…

Unity OpenXRプロジェクトでGameViewがロックされてしまう問題の解消

本日はUnityでのxR開発のトラブルシューティング枠です。 〇問題 先日HoloLensアプリ開発中にUnityのゲームウィンドウがロックされてしまい、Input周りを受け付けないトラブルがありました。 特にマウスやキーボードを使用したカメラの移動が全くできず、開…

MRTKワイヤフレームShaderを調査する。 その③ ワイヤフレームシェーダーの概要

本日はSubShader内の処理を読み解いていきます。 #pragma vertex vert #pragma geometry geom #pragma fragment frag WireFrameShaderでは頂点シェーダー、フラグメントシェーダーのほかにジオメトリシェーダーが実装されています。 実行環境がDirectX #if d…

MRTKワイヤフレームShaderを調査する。 その① カスタムシェーダーGUI

今回はShader勉強枠です。 今回はMRTKで提供されているワイヤフレームシェーダーに関して調査します。 〇MRTKのワイヤフレームシェーダーとは? MRTKでは[SpatialAwareness(空間認識)]で作成された[SpatialMesh(空間メッシュ)]を描画するためのマテリアルと…

Varjo XR-3のプロジェクトを作成する。その② MRTKの導入

本日は最先端のXRデバイスVarjo XR-3の開発に関するTipsです。 〇Varjo XR-3とは? Varjo XR-3はVarjo社が開発、販売するハイエンドのXRデバイスです。 VRだけでなくHoloLens同様のMRも一台で体験できるデバイスで、ビデオシースルー式のディスプレイを持ち…

Varjo XR-3のプロジェクトを作成する。その① MRTKで使用する準備

本日はMRTKの実験枠です。 肉眼レベルで描画ができる業務用XRデバイスVario XR-3でMRTKを使用しました。 〇Varjo XR-3とは? Varjo XR-3はVarjo社が開発、販売するハイエンドのXRデバイスです。 VRだけでなくHoloLens同様のMRも一台で体験できるデバイスで、…

SFチックのUIを作る その19 SFチックなボード

本日はHoloLens 2用のオリジナルUIです。 HoloLensではMRTKExamplesでMRTKを用いてHoloLensに最適化したUIが提供されています。 これをベースに筆者のオリジナルのUIを作成していきます。 〇今回は説明ボードを作成しました。 アプリ内での使用用途は以下の…

MRTKプロジェクトの最新環境へのアップグレード その②

本日はドキュメント枠です。 先日MRTKチームのYoon Parkさんが自身のブログでMRTKのプロジェクトのアップデートに関する最新の記事を投稿されました。 Yoonさんは2019年筆者がシアトルへ行きMicrosoft社でMRTKチームやAlex Kipmanとミーティングを行った際に…

MRTKプロジェクトの最新環境へのアップグレード その①

本日はドキュメント枠です。 先日MRTKチームのYoon Parkさんが自身のブログでMRTKのプロジェクトのアップデートに関する最新の記事を投稿されました。 Yoonさんは2019年筆者がシアトルへ行きMicrosoft社でMRTKチームやAlex Kipmanとミーティングを行った際に…

ゼロから学ぶHoloLens 初心者向けチュートリアル 応用編 Candy Rock Starその④ 空間音響を使用する。

本日はチュートリアル枠です。 今回自分が3年前HoloLens に初めて触れ右も左もわからない中開発を行った頃の自分に向けてチュートリアルを作成します。 今回は応用編第4回目です。 〇空間音響を使用する。 今回は空間音響を使用して立体的なサウンドを作成し…

OpenXRでのHoloLens 2プロジェクト設定

本日はOpenXRでのHoloLens 2のプロジェクト設定を行います。 昨日OpenXRに関して調べました。HoloLens開発ではUnity2021.2以降のバージョンではこのOpenXRが唯一のサポートとなります。 redhologerbera.hatenablog.com 今回は実際にUnityプロジェクト内でOpe…

HoloLensで発光オブジェクトのGlow効果を出す。

本日はHoloLensの表現枠です。 UnityではShaderの機能が対応している場合[Emittion]を使用することができます。 この場合オブジェクト自身から発光するためライトの影響を受けなくなります。 しかし実際の発光現象では発光体だけではなく周囲の空気に反射し…

ゼロから学ぶHoloLens 初心者向けチュートリアル 応用編 Candy Rock Starその① CRSを動かす。

チュートリアル枠です。 今回自分が3年前HoloLens に初めて触れ右も左もわからない中開発を行った頃の自分に向けてチュートリアルを作成します。 今回は応用編です。 〇Candy Rock Star [Candy Rock Star]は[ユニティ・テクノロジーズ・ジャパン]が開発者向…

Unity×MRTKでエディタ上でDeviceManagerのエラーがマイフレーム表示される問題の解消

本日はHoloLensアプリ開発時のトラブルシューティング記事です。 アプリ開発を行っていたところUnityエディタ上で実行する際にマイフレーム次のようなエラーが発生しました。 Microsoft.MixedReality.Toolkit.XRSDK.WindowsMixedReality.WindowsMixedReality…

MixedRealityFeatureToolを使ってMixedReality関連のパッケージを管理する。

本日はMRTKの開発Tipsです。 〇MixedRealityFeatureToolとは? docs.microsoft.com [MixedRealityFeatureTool]はMicrosoftによって提供されているMixedReality開発時の関連パッケージの管理ツールになります。 開発中のプロダクトに導入されているパッケージ…

ゼロから学ぶHoloLens 初心者向けチュートリアル HoloLensの五大要素を学ぶ 空間認識 その② 

本日はチュートリアル枠です。 今回自分が3年前HoloLens に初めて触れ右も左もわからない中開発を行った頃の自分に向けてチュートリアルを作成します。 〇HoloLensへアプリをデプロイしよう! 今回はHoloLensアプリ開発環境を1から構築することを目的としま…

HoloLens 2アプリでタッチ操作を実装する。

本日はHoloLensの基礎的な部分に関する記事です。 筆者の中で挑戦したい表現があり、それに向けてまずは基礎的な部分を載せていきます。 〇HoloLens 2のHandTrackingとジェスチャ HoloLens 2ではユーザーの手を認識してアプリケーション側に反映させる[HandT…

MixedRealityToolkit v2.6がリリースされました。 新機能

本日HoloLensの開発ツールであるMixedRealityの新バージョンMRTK2.6がリリースされました。 今回はリリース記事を見ながら変更点をまとめていきます。 docs.microsoft.com 〇新機能 ・OpenXRプレビューの追加サポート OpenXRはKhronos社によって提供されてい…

HoloLens 2用のSlateでスクロールをlockする HoloLens アドベントカレンダー2020 7日目

本日はMRTKの調査枠です。またHoloLensアドベントカレンダー2020 7日目の記事です。 Slateを改造してscrollを制限できるように設定します。 ※この記事ではMRTK v2.51現在最新版を使用しています。 これ以降のバージョンでは解消されている可能性があります …

腕輪型UIを作る HLアドベントカレンダー2020 3日目

本日はオリジナルUIを作成します。 今回は今まで作成してきた腕輪型UIをまとめさらに使いやすくしました。 〇腕輪型UIとは? 筆者が作成したオリジナルのUIで、HoloLens 2のHandTrackingを使用してユーザーの手首に表示されるHandMenuです。 www.youtube.com…

HoloLensでオブジェクトをスクロールする

本日はMRTKの調査枠です。 〇オブジェクトのスクロール HoloLens 2ではスマートフォンのスワイプのようにオブジェクトをスクロールして動かすことができます。 画像はHoloLensの設定画面でのスクロールの例です。 スクロールを実装することで画面内に収まり…

HoloLens 2でオブジェクトを回転させずに動かす

本日はMRTK調査枠です。 MRTKではMixedRealit世界でHandTrackingを用いてユーザーの手を使用してオブジェクトを動かすための機能があります。 〇オブジェクトを動かす。 ①移動させるオブジェクトを用意します。 今回はUnity プリミティブ3DオブジェクトのCu…

MixedReality Toolkit Examplesを読み解く HandCoachExample その①

本日はMRTK Examples調査枠です。 HoloLensの開発ツールであるMRTKにはMRTKの機能をまとめたデモ集Examplesが提供されています。 MRTKに実装されている機能や実装などを学ぶことができます。 今回はHandCoachExampleを見ていきます。 〇HandCoachExample MRT…

HoloLens 2でHandTrackingによる手の検出を行う

本日はMRTKの調査枠です。 〇HandTracking HoloLens 2ではHandTrackingによりユーザーの両手を検知して、その動きをアプリ内の操作に反映することができます。 これは右手、左手それぞれを区別して認識できます。Unity内では[Right_HandRight(Clone)]として…

HoloLens 2でアイトラッキングを使用する 

今回は前回に引き続きHoloLens 2でアイトラッキングを使用します。 前回はアイトラッキングを使用するための準備をUnity内で行いました。 redhologerbera.hatenablog.com 引き続きMRTKのドキュメントを参考に進めていきます。 microsoft.github.io 〇アイト…

HoloLens 2でアイトラッキングを使用する 準備

本日はHoloLensの機能調査枠です。 HoloLens 2ではユーザーの目線を取得することができます。 これによってユーザーが文字を目で追うだけで自動的に文字がスクロールすることやユーザーがどこを見ているかをアプリ側で取得することができます。 今回はUnity…