まえがき
ラボ同期と3人で作ったVR作品、Mechanical Brain Hackingが歴史あるVRコンテストIVRC2022にてSeed Stageを突破し、Leap Stageに進出し、Laval Virtual Prizeを頂きました。
この記事は弊作品のメイキング記事です。
デモ会場にて、お絵描きAI等を用いて作品制作を行ったことをスタッフの方々に話した際に、メイキング記事を書いたらいいよと打診されましたので、こうして書き記しています。
手足が入れ変わって電極で繋がれているのを自分で修理しているらしいです！
— Dr.(Shirai)Hakase #GREEVRStudioLab (@o_ob) 2022年9月3日
Mechanical Brain Hacking:ロボットアバタを用いた自らの脳改造・身体システム改造体験 <東京大学大学院学際情報学府/東京大学大学院情報理工学系研究科>#IVRC2022 pic.twitter.com/fOzkzQGHNX
だれむけか
- VR作品作成初心者
- お絵描きAIを作品制作に取り入れたい人
要約
- AIにイラストを描かせて3Dモデリングしたら、見た目が良くなる
本作品の説明
生体の脳は侵しがたく、活動を観察し難く、それゆえに神秘性を持つ。では、機械の脳ならば？本企画では、手足の殆どが動かない壊れかけのロボットとなり、自らの脳を開いて脳内回路を修理し、身体システムをリアルタイムに修復・改変する体験を提供する。ロボット脳内の「意識モジュール」から四肢へ伸びる回路を繋ぎ直すことにより、四肢の操作を獲得する。また、回路を繋ぎ間違えた時には、現実と異なった形で四肢が動作するようになる。脳を侵される感覚を触覚刺激により、身体操作を獲得する感覚を電気刺激により提示する。自らの脳・身体システムの改変を通し、ユーザは機械身体を持つ意識体としての価値観に触れる。
ロボットになって自分の脳内を手術マシンを用いて弄りまわして身体システムを改変します。
現実の右腕の動きに対応し、アバタの右腕、左腕が動く
現実の左腕の動きに対応し、アバタの右足が動く
現実の右足の動きに対応し、アバタの左足が動く
以下、作品制作の流れになります。
1.アイデア出し
5/31がIVRC2022の企画応募締め切りであり、それに向けてチームで話し合いアイデアを出しました。
初めに、過去のIVRCの受賞作品を検討した結果、以下の要素がウケそうであることが分かりました。
- スポーツ系
- 海外受けするもの
- 啓蒙系
- マルチモーダルな入出力、フィードバック
- 見た目の面白さ
- 質
これらの要素を念頭に置き、ブレストを行いました。
以上の4つのアイデアが人気でしたが、実現可能性や面白さ、審査員ウケ、新規性を考え、投票により一番上のアイデアが選ばれました。
デモ会場でも、サイバネっぽさと一見した発想の狂気性、フィードバックシステムが良くウケていましたので、このアイデアにして正解だったと思います。
2.作品の方向性決め
幸いにして自分が出したアイデアが選ばれたので、自分を中心にシステム概観を考えていきました。
今回のアイデアの着想は、ロボットになり自分の脳内を覗き込むという点をテッド・チャンの「息吹」から、身体システムの編集という点を研究テーマの検討から得ていました。それゆえ、自分の脳内の改造システム、後頭部手術マシンのイメージは早々に固まりました。
初めは脳内の切れている回路を正常に直し、四肢を取り戻すことだけを検討していましたが、現実の身体から異なるアバタ肉体への動作リマッピングについても最近考えていたため、リアルタイムに脳内回路を繋ぎ変えて身体システムを狂わせることを思いつきました。
VRコンテストの過去の受賞作品を見ていると、マルチモーダルなフィードバックシステムが多く使われていました。そこで、私たちもいくつかのフィードバックシステムを作ることにしました。
- 手術マシンの動作に合わせた後頭部への振動分布の提示
- 手足の操作を獲得した時の電気刺激
2は偶然チームの一人が筋電気刺激を行っていたことから着想しましたが、ハッタリが効いており、面白いシステムになりました。
3.システム制作
以下、VRシステムのメイキングになります。
今回のシステムは、大別して
からなります。1及びシステム統合については自分が、2についてはチームメイトが製作しました。
UnityとArduino間の通信には、Uduinoというアセットを用いました。
3.1 Unity・HMD系
VRシーンの作成にはUnity + SteamVRを用いました。モデリングにはblender + substance painterを用いました。
3.1.1 モデリング
初めにロボットアバタをモデリングしました。かっこいい見た目にするのは大変なため、一先ず最低限のチープな見た目で作成しました。【映画】ロボッツ 予告 - YouTube等を参考にしました。VRc向けのアバターをモデリングした経験が活きました。
続いてはロボットが自分の脳内を手術する部屋、手術マシンのモデリングに取り組みました。
ちょうどこの時期にお絵描きAIブームが来ていたので、何となくDALL-Eにコンセプトアートを描かせてみました。
この手術マシンの見た目が恰好よかったので、この絵をベースにモデリングしていくことにしました。また、以降のワークフローでもAIを活用することにしました。
続いて脳内の機器類をモデリングしていきました。まずはStableDiffusionに絵を描かせます。
このような絵を10枚くらい描かせ、モデリングできそうな構造を探し、バッシュ的に脳内を組んでいきます。ケーブル類はGeoCable, Cablator等のアドオンを使って作成しました。
リアルロボットを作る先輩から「スカスカだね」と指摘されましたorz
3.1.2 アルゴリズム設計
Unity上でSteamVRのサンプルシーンを開き、要素を追加していきました。
これらを適当に作成しました。
3.1.3 演出設計
以上の「最低限のシステム」が完成したのが、コンテストにデモ動画を提出しなければいけない8/31日でした。動画を何とか提出し、以降の二日間では演出を強化していきました。
- 頭部のカバーを開くシステム
- ライティング
- マテリアルの調整
- ブルームの作成
- 音響の作成
- 椅子の作成
- モデリングの調整
- 脳内コアにエフェクトを付ける
- 操作しやすくするための当り判定の調整
- プラグ類へのアウトラインの描画
等を二日間で改良しました。
ライティングはめっちゃ大事。
3.2 Arduino・フィードバック系
3.2.1 電気刺激系
Uduinoを通じて電気刺激システムを動かしました。リレー回路を使ったりUnityからPythonで立てたローカルホストにhttpリクエストを送って通信したり、色々大変でしたが割愛します。
安全対策のために、電気刺激系とその他で電源を分けるようにしました。
3.2.2 後頭部振動子
Arduino Megaの20ピンに直接安い振動子を20個つなぎました。体験者の頭からコードが伸びている様子がサイバネっぽくてクールでした。
4.デモ準備
デモ前日にパッキングを行いました。Vive Pro2、ベースステーション、三脚等のVR系でスーツケース一つ、フィードバック系でランドセル一つ分ほどの荷物になりました。すごくコンパクト！海外にも持っていき易そうです。
5.追記 LeapStageにむけて
無事Leap Stageに進み、Laval Virtual賞、VR学会賞、ICAT賞、XR Kaigi出展などの賞を受賞しました。
Leap Stageに向けた改善点は以下の通りでした。
- EMS系
- VR
- 回路をランダムに繋ぐボタンの準備
- 見た目と音響の調整、肢で手を動かす場合でも起動できるように位置の調整
- 尻の高さのキャリブレーションシーンの準備
- シーンの遷移
- 鏡を用意して自分が自分であることを確かめる
- 日本語で説明せずとも動かせるストーリー
- EASY ENGLISH
- 最初に振り向く必要を無くす
- 横か何処かに鏡を準備？
- 初手で右手が切れないようにする
- 操作性のアップ
- 追加の手足パーツの獲得
- 四肢を繋ぎ終わる→起動マシンの横の腕に触れられるようになる→持てる→肩にとりつけると動く
- 手術マシンの起動を行う
- 右手-左手での指のリマッピング、足指のマッピング
- 説明動画
- ライティング
- VRシーンに色々画像を貼る
- ストーリーがない
- 回路をランダムに繋ぐボタンの準備
- 全体
- 暗幕→ラボにあれば借りる
- ハードをサイバネにする LEDぴかぴか
- ポスターの準備
- 座布団
- 動かなくて高さを調節できる椅子
- ディスプレイの準備
- 延長コード
- スカートの女性のためにブランケットを準備
- 頭汗パッド
- 作品が提示されいる空間をつくる
以上を直したLeapでのデモの様子はこのようでした。
６.ウケた点の考察
自分の作品が特に学会側の人に評価された理由として、
・研究っぽい上に学会でもやられていないこと
・それをポップな体験に落とし込んでいること
・サイバネっぽい外見、テーマ、フィードバックシステム
・勿論現実には存在しない体験と、良いモチーフを用いることによる納得感
が考えられました。
過去の優勝・準優勝作品なども踏まえて考えると、IVRC作品は以下のようなポイントを踏まえると良い感じになると思われます。
[必須]
- ポップさ(体験の魅力)
- 現実の下位互換ではないVR的な価値
- もしくは現実では中々出来ない体験
- 新奇性
- (技術的な)面白さ
[あればいい]
- キュレーション
- マルチモーダル刺激
- シナリオ
- 操作性
- 対人性
- ゲーム性
[隠し味]
ということで、Mechanical Brain Hackingのメイキングでした。
VRで(研究でなく)ガッツリとしたコンテンツを作るのは初めてでしたが、デモ会場でも良い感想を多く頂け、自分としてもとても嬉しいです。多くの方に楽しんで頂けたようで何よりです！
自分は絵作りのセンスはあまり無いのですが、丁度良いタイミングでお絵描きAIが台頭してきて幸運でした。ケレン味のあるシーンに仕上がったのではないかと思います。
今後の展示に向けては、要素の拡充とオペレーションの改善を行っていきます。
I-CAR、XR Kaigi、東京大学製作展、Laval Virtualなどにも出展しますので、機会があれば体験してください。
また、当作品は国際会議SIGGRAPH'23 Immersive Pavilionにも採択されたので、ロサンゼルスでも展示を行ってくる予定です。
この記事がVRコンテンツ作成の参考になれば幸いです。
よきVRライフを！
