視覚、聴覚、味覚、触覚、嗅覚のいわゆる五感は、それぞれに独立しているのではなく、相互に影響し合いながら一つの感覚をつくりだしていることが分かってきた。こうして得られた「クロスモーダル知覚」を、バーチャル・リアリティ（VR）技術を使って解明、応用しようという研究が進んでいる。いろいろな感覚をクロスさせることで、能力が発揮しやすい環境をつくりだすことが可能になるという。さらに、心理的にもいい影響がもたらされることも分かってきた。

以前は五感というものはそれぞれに独立していると捉えられていました。視覚と聴覚とは脳の別々の場所で処理されているから、耳で聞いた情報は視覚の処理には関係ない、というように。でも現実には、五感が影響し合っていることは間違いありません。例えばごはんを食べるとき、舌で感じる味覚だけではなく、盛り付けなどの見た目、香り、口に入れたときの触感など五感すべてを使って得た情報が脳に集まって統合されることで、味が認識されているのです。同時に入ってきた感覚同士が影響し合うことが分かってきました。

感覚間で補正し合って情報を処理する

分かりやすい例として、腹話術が挙げられます。人形の口がパクパク動いている。その口に合わせて声が出る。その声は人間が発しているわけですが、口の動きという視覚の情報に引っ張られる形で、声も人形のほうから出ていると感じてしまうのです。視覚と聴覚がちょっとずれているときに、人間の脳はそれをうまくまとめて一つの感覚の現象をつくりだす。人間のほうから声が聞こえたとしても、それは耳の聞き違いで、人形のほうから声がするのだと補正するわけです。このように感覚間で補正し合って情報を処理することを「クロスモーダル知覚」と呼び、私はそれを利用していろいろな感覚を引き出す研究を続けています。専門はバーチャル・リアリティ（VR）です。

私たちの研究で一番分かりやすいのが、五感をクロスさせることで味覚を変えるものだと思います。

味覚については、すでに食品業界で採用されているものがいくつかあります。例えば、かき氷のシロップ。イチゴ味とかメロン味とかいろいろありますが、実はシロップの中身は一緒なんです。でも着色料と香料とを用いることで味覚に影響が与えられ、イチゴやメロンの味を感じるのです。また、高齢者は舌が衰えるといわれますが、実際には味覚が衰えるのではなく嗅覚が衰えるということがいわれています。そこで高齢者に食事を摂ってもらう際に、料理の香りをかなり強くすることで、味を感じやすくする。そういう工夫が現場レベルで行われています。

こうした味についてのクロスモーダル知覚の研究を、VRを用いて行っています。私の場合は、最初に「メタクッキー」というシステムを作りました。ヘッドマウントディスプレイ（HMD）を着けてクッキーを食べると、プレーン味のクッキーなのにチョコレート味に感じられるのです（図1）。このクッキーには焼き印が付いており、コンピュータがそれを認識できるようになっています。その上でHMDを通して見ると、このクッキーがチョコクッキーのように見えるのです。同時にチョコレートの香りを発します。こうした仕組みによって、実際に食べているクッキーはプレーン味なのに、食べた人はチョコレート味を感じ取るのです。私たちの調査では、食べた人の8割以上がチョコレート味だと答えました。同様に、イチゴ味にしたり、アーモンド味にすることもできます。そうすると、実際には1種類のプレーン味でも、多くの味を楽しめ、飽きさせなくすることができます。

図1 メタクッキーで味を変える左上のプレーンクッキーが、HMDを通すと左下のようにチョコレートクッキーに見える。食べる際にチョコの匂いを出すと、食べた人はチョコレート味を感じる。

味が薄いものを濃いと感じさせたりすることもできます。甘味の少ないものでも甘味が強いと感じさせることができるので、糖分を減らしカロリーを低くすることが可能です。強い塩味を感じさせることで、減塩食を食べてもらうこともできるでしょう。

満腹感は視覚などの影響を受ける

VRを使って視覚を変えることで、満腹感を変えることもできます。人は満腹感を、血糖値の変化や胃の膨満感で得ます。ただし内臓の感覚はけっこう曖昧です。例えば「おなか、すいてない？」と言われて、それまで感じていなかった空腹を意識することがあるように。あるいは一緒に食べている相手がたくさん食べると、それに合わせるように普段よりも多くの量を食べてしまうこともあります。

VRを使ってクッキーの大きさを変化して見せることで、胃の感覚に影響を与える実験をしました（図2）。実際のクッキーの大きさは同じなのに、大きく見せたときには食べる量が平均約9.3％減り、小さく見せたときには食べる量が平均約13.8％増えたのです。満腹感は、実際に食べた量そのものや血糖値だけで決まるものではなく、視覚などの影響を受けることが分かりました。私たちはこれを「拡張満腹感」と名付けました。

図2 大きさの見た目と満腹感の関係HMDを通すとクッキーの大きさが異なって見える。すると満腹感に顕著な変化が。ある人は、小さい像にすると13枚食べ、普通の大きさで11枚、大きな像では7枚で満足した。

食事の際にHMDを使うのは違和感があるという方も多いでしょう。VRといいますとどうしてもHMDを装着して見るというイメージが強いのですが、研究者たちは認識する現実を変えることができれば、それがVRだと捉えています。別にHMDを装着する必要はありません。例えばプロジェクションマッピングを用いて、目に見える皿の大きさを変えるのです。大きく見える皿に盛られた料理は少なく感じますし、小さく見える皿の料理は多く感じます。これはデルブーフ錯視という錯視の応用です。皿の直径3分の1の範囲に料理を盛り付けると、最も料理が小さく感じられるし、皿の直径3分の2の範囲に料理を盛り付けると、最も大きく感じるのです。プロジェクターで投影することで見える皿の大きさを変えれば、少ない量で満腹感を得られるのです。ダイエットや、食事制限が必要な病気にかかっている人の食事に利用できるでしょう。現実の場にどうテクノロジーが入っていくか。これからの課題だと思います。

視覚は他の感覚に影響を与えやすいということも分かっています。視覚情報が、触覚に影響を与える実験も行ってみました（図3）。モニターの背後に、円筒形の物体を見えないように置いておきます。モニターには、つぼの形だったり、真ん中がくぼんだ形だったり、上の辺が斜めに切り取られた形など、円筒とは異なる形の物体の映像を映しておきます。被験者は、モニターによって隠れている円筒を指で触ります。実際に触っている様子は見えず、モニターには円筒とは異なる物体を触る指の姿が映されます。すると実際には円筒形の物体を触っているにもかかわらず、モニターに映し出されているビジュアルと同じ形の物を触っているような感覚になるのです。この実験成果を応用して、東京国立博物館と一緒に研究をしてみたことがあります。実際には触れることのできない文化財をモニターに映し出し、バーチャルに触る体験をしてもらいました。

図3 視覚情報に触覚が引っ張られる円筒形の物体を触っているのにもかかわらず、モニターには他の形を触る様子がCGで映し出される。実験では85～90％の人が「くぼんでいる」「膨らんでいる」と言った。

実際の手と連動するバーチャルハンド

実際に触らなくても、触り心地はこんな感じなんだとバーチャルにシミュレーションすることで、インターネット通販で触感を伝えることも実現できるかもしれません。店の側には本物の毛布を、消費者の側には単なる布を用意します。あらかじめ毛布をどの程度押すとどう変形するのかというデータを入力しておくことで、消費者の元にある布をグッと押すとそれに伴って店にある毛布のへこむ映像が出ます。すると消費者は、この毛布はだいたいこれくらいの柔らかさなのだと認識できるのです。

こうしたクロスモーダル知覚を用いて、「人間拡張」ができないか。私は「ラバーハンドイリュージョン」という現象を応用して、実験をしてみました。

その成果について語る前に、ラバーハンドイリュージョンについて説明します。自分の目の前にゴムでできた手を置き、その隣に自分の手を置きます。両者の間にはついたてがあって、実験参加者からゴムの手は見えますが、自分の手は見えません。まず、ゴムの手と参加者の手の同じ箇所を筆でなぞっていきます。視覚と触覚が同期した刺激が与えられることで、参加者は次第にゴムの手を自分の手と錯覚するようになります。この状態でゴムの手にナイフを刺すと痛いと感じるのです。

私たちはVRを用いて、一般的な手とは異なる形状や運動に対応したバーチャルハンドを用いてピアノの擬似的演奏ができるアプリケーションシステムを構築しました。「えくす手」と名付けたこのシステムを用い、人間の体が拡張したときに我々がどうそれを受容するのかを調べたのです（図4）。実際の手とリアルタイムに連動して動くバーチャルハンドは、その形状や動き方が現実の手とは大幅に異なるものに変容した場合でも、自分の体に属するという感覚が生起することが確認されました。指が実際の2倍くらいに伸びた場合でも、ちょっとすれば慣れてピアノを弾けるようになりました。ただし4倍まで伸ばしてみると、うまく受け入れることが難しいようです。

図4 えくす手での演奏イメージピアノを弾くにあたって、VRで指がどんどん伸びていく。届かない鍵盤にも指が届く様子が見える。視覚と触覚の同期刺激によって、見た目を2倍程度拡張しても自分の体だと感じられる。

また「拡張持久力」と呼んでいるのですが、持久力を上げて楽に力仕事ができる方法も開発しました。

人間は白い段ボールと黒い段ボールとを見たときに、たとえ同じ重さであっても白いほうが軽いと捉えます。生得的な感覚なのか、そのあたりは分かっていませんが、明度の高いもののほうが軽く、明度の低いものが重いというイメージを脳は持っているのです。そのため黒い段ボールを持つときは「これくらい力を入れないと持てないだろう」と過剰な力を用い、結果として白い段ボールを持つときよりも疲れてしまうのです。引っ越し業者に白い段ボールを使うところが多いのは、経験則としてそのことを知っているからかもしれません。この錯覚を利用すると、運ぶ物の色の明度をVRで高め余剰な力をかけないことで、作業疲労を減らすことが可能になります。私たちの実験では、作業持久力を18％ほど向上させられました（図5）。

図5 明度の高い物は軽く感じるHMDを用いて、持ち上げる物体の色の明度を変えることで、物体の重量知覚が変化。白い物のように見えるだけで、作業持久力が向上する。

どのように心とパフォーマンスを変えるのか

VRの技術で新しい体を与えられるとなったときに、それは私たちに新しい心を芽生えさせるはずです。すでに海外では、アバターを用いた実験の結果が報告されています。

例えばアインシュタインのアバターを用い、バーチャルな世界で自分がアインシュタインになった実験があります。面白いことに自分自身を模したアバターを使った場合よりも、アインシュタインのアバターを使ったときのほうが、テストの成績が良いことが分かったのです。問題を解くときに、自分を模したアバターを使った場合は、ある程度考えて分からないと諦めます。自分のイメージに引きずられるのですね。しかしアインシュタインのアバターを用いると、簡単には諦めない。もう少し考える、変わったアプローチでトライするなど、普段とは違った努力を無意識のうちにするのです。「アインシュタインならこう考えるのではないか」ということが、自分の中に新しい回路としてできあがり、それが好成績につながったと考えられています。

また、アフリカの太鼓をたたくVRの実験でも、興味深い結果が出ています。先生のアバターのまねをして太鼓をたたくのですが、参加者がカチッとしたスーツ姿のアバターだと全然うまくたたけません。ところが髪をアフロにした、いかにもアフリカ系のミュージシャンといったアバターになりますと、太鼓をたたく手の振りが大きくなるのです。VRで自分の新しい姿を与えられると、それに合わせる形で隠れていた能力を出しやすくなるのです。

私たちは、その実験をさらに進めてみました。日本版ですから和太鼓をたたくのですが、やはりアバターがスーツ姿では上手に太鼓をたたけません。しかし法被姿のアバターを用いると、手の振りが早くなり、上手にたたけるのです。さらに私たちは、自身のアバターの他に一緒に太鼓をたたいてくれる人（アバター）も登場させてみました。すると、周囲の人の状況で、自身の太鼓のたたき方が変わってくるのです。一番上手に太鼓をたたけるのは、自分が法被を着て、周囲がスーツを着ている状況です。1人ですごく盛り上がります。自分がスーツ姿で周囲が法被姿だと、ひっそりと太鼓をたたきます。自分の姿だけではなく、社会的な相互作用というべきものも確認されたわけです。

バーチャルな場というのは、今やメタバースも出てきて、みんなで使うものになってきています。そのときに新しい体を与えるとか、みんなが生身と異なる体を持つということが、どういうふうに私たちの心とパフォーマンスを変えるのか。それが今の私の研究テーマです。

アバターまでいかなくても、ビデオ会議でも面白い結果が出ています。会議参加者の表情を変えるフィルターを使ってみたのです。お互いが笑顔になれるようなフィルターをかけてブレーンストーミングをやってみたところ、フィルターなしの場合に比べて、約1.5倍のアイデアが出てきました。

人間の能力の拡張とは、能力そのものを高めるというよりも、実際にその場でどれくらい効率的に持っている能力を引き出せるかが重要なのです。コンピュータの力を借りて、人間の能力を発揮しやすい環境をサポートする。そうすることで、自分の能力を存分に発揮して自分らしく生きていける可能性が広がっていくのではないかと考えています。

ダイバーシティ＆インクルージョンの重要さが叫ばれる昨今ですが、VRによる人間拡張を活用することで、誰もが自分らしいやり方で社会の中で能力を発揮しながら活躍し、楽しく生きていくことを支援できるような研究を続けていきたいと思っています。