VRアプリをAR対応させて展示したら案外便利だった話【Unity】【Quest3】【SIGGRAPH Asia 2023】

この記事は、Iwaken Lab.アドベントカレンダー2023の19日目の記事です。

【Stripe】超入門編：0から始める決済フォーム自動作成 #API - Qiita

next→
さくたまさん

はじめに

どうも、時化です。non-humanoidアバターとか身体編集に関する研究を大学院でやっております。

先日行われたSIGGRAPH Asia 2023というイベントで、AvatarForgeという没入型アプリを展示してきました。このアプリはVR空間内でノードベースかつリアルタイムにアバターの身体を編集できるというもので、だれでも簡単に整理された形で非人型アバター設計を行うことを可能にします。

このアプリの推しポイントには以下のようなものがあります。

・アバターの構造とマッピングだけ作ってるので外見はCGerが後から創造的に作り直せる
・アバター設計を構造化された形で記述でき、シェアや再編集も簡単
・非人型身体のプロトタイプを加速し、リハビリや人間拡張にも役立ちうる
・以前の作品(Mechanical Brain Hacking)から続けた「編集可能な身体感」

非人型アバター/身体のユースケースについては以前の記事をご覧ください。

shike-bengara.hatenablog.com

このアプリはVR空間で動作させて展示する予定でしたが、Oculus Integrationをベースに作成していたため、building blockを用いることでQuest3でのAR機能に簡単に対応させることができました。(AR開発については先日の土鍋君の記事をご覧ください。)

今回の記事は、そのAR表示に対応させたアプリを用いて展示してみたら、予定していたVRアプリの展示よりも色々便利だった、という話です。

MBHやった人に気づいてもらえて嬉しかったので件の白衣を取り出した

念のため作っておいたAR版が説明にめちゃくちゃ役立ってる、実際にやりながら画面をディスプレイにキャストして動作を説明できる pic.twitter.com/1m6BEk22w2
— 時化 (@shike_cosmicXR) 2023年12月13日

AR展示にしてよかったこと

当初、今回の展示はUnity EditorとOculus Linkを繋いで、エディタ上でアプリを実行する予定でした。実行時にはディスプレイに体験者が操作するUntity画面が映るので、それを見つつ指示したりキーボード操作でちょっと体験者を手助けしたりすることが出来ます。

一方で、別の展示での体験から、動くのが一台だけではスループットが悪くなると考えたため、パソコンに繋がず単体で動作するビルド済みQuestを二個用意して置き、自由に体験を行って貰おうと考えました。なんとなくARで非人型アバター使えたら楽しそうだと考え、また現実世界での人間拡張のプロトタイプにも使えますよ~と説明するためにAR対応させておきました。

いざ展示が始まってみると、AR対応させたQuest3がアプリの説明にとても便利でした。お客さんがブースにやってきたら、先ずはアプリの説明をします。ここで、ARアプリであることによって、お客さんの顔を見つつ実際にデモを行うことが可能になっていました。画面はQuestのミラーリング機能を用いてPCにミラーリングし、それをディスプレイに映しました。また、体験者に安全にアプリを体験してもらうことも出来ました。VRアプリだとやはり歩き回ったり体を動かそうとした時にちょっと不安が残ります。外界が見えていることにより、安全に手を伸ばしたりすることができ、これによって「ちょっとブースの前で体験していってもらう」ことが可能になりました。更には、自分の連れに対して拡張した手を伸ばすような、AR的なインタラクションも確認されました。

今回の学会展示ではトーク発表も行う必要があったのですが、そこでも聴衆の反応を見つつリアルタイムデモを行うことが出来ました。