人間を「だます」技術でVRの可能性を広げる

触覚の錯覚を情報技術に応用する

Q.先生の研究内容について簡単に教えていただけますか
雨宮――いわゆるVR（バーチャル・リアリティ）のリアリティを追求しています。その中でも触覚に注目していますね。触覚は、人間の五感の中でも生命に欠かせない、重要な感覚です。夢の中で頬をつねって現実かどうか確かめるのは、触覚は確かな感覚であり、「だまされる」ことはないと思い込んでいるからです。ところが、実は触覚においても錯覚がある。そういった触覚の錯覚をうまく使いながら、さまざまな面白い試みに取り組んでいます。まとめると、人間を「だます」技術全般を研究している、と言えるでしょうか。

Q具体的にはどういった試みをされているのでしょう?
雨宮――たとえば、携帯電話にはバイブレーション機能がありますよね。あの振動をちょっと工夫すると、携帯電話が手を引っ張ってくるかのような錯覚を起こします。もう少し具体的に言うと、振動のさせ方に非対称性を使うんです。一方向に早く大きく動かして、逆方向に長くゆっくり戻すということを繰り返す。携帯電話に触っている人からすると、パッと押される瞬間とゆっくり戻される瞬間が繰り返されます。そうするとパッと押された方に意識が残り、その逆方向には気づかないので、結果として片方に引っ張られ続けるような錯覚が生まれます。

Q.振動を使うとのことですが、他にはどのような試みがありますか？
雨宮――最近は、椅子に座っていても歩いているような錯覚を作れないか試みています（図1）。この場合はかかとに振動を与えるとか、椅子を少しだけ動かすとか、そういうだまし方になります。実際に歩いているぐらいの大きさで椅子を動かすとかえって不自然で気持ち悪くなってしまいますが、四分の一程度なら酔いませんし、歩いているのに近い体験が得られるんです。こういう一種の体の錯覚を作るのが私の研究のメインであり、一番楽しいところでもありますね。

図1　椅子に座って体験する歩行感覚

Q.では、先生が錯覚に注目されたきっかけを教えてください
雨宮――だまし絵の美術館というのがありますけど、「人間はこんなふうにだまされてしまう」という事実があります。錯覚ならではの面白さがあると思うと同時に、人間の情報処理のメカニズムを探るツールにもなり得るんです。たとえば実験心理学や神経科学の分野では、錯覚がシステム同定のツールとしてよく用いられています。エンターテインメント的な面白さとシステム同定、その両面を持つことから錯覚に着目しました。

Q.錯覚の研究はいつ頃から着手されたのでしょうか
雨宮――触覚の研究自体は学生時代からですね。私の指導教員である廣瀬通孝先生（図2）が先端研にいらっしゃった関係で、卒論を書く際に全盲ろう者である福島智先生にご協力いただきました。福島先生と話すときは、こちらが音声で伝えた情報を通訳者の方が文字に分解し、福島先生の指の上に手を置いてピアノを弾くように点字の６ビットを順に打つ、指点字という方法を使います。これだけ聞くと会話は難しそうに思えるかもしれませんが、普段の電話もできますし、対面でも通常の会話とほぼ同じペースでやりとりができます。福島先生とのやりとりを通して、触覚にはそんなに情報量があるのかと驚かされました。

図2　雨宮准教授（写真左）と廣瀬教授（写真右）
※2006年ボストンの国際会議にて

Q.福島先生との出会いと気付きをきっかけに、触覚への関心を強められたのですね
雨宮――そうです。また、当時は情報技術で障害者を支援する触覚提示装置というのは非常に限られていました。良い振動装置もありませんでしたから、指で叩く感じに似た振動を作るとか振動で道案内するとか、かなりチャレンジングな課題だったわけです。そういうところから、「だます」ことを突き詰めたいと考えるようになりました。修士課程修了のあとに就職したNTTの研究所では視覚、聴覚、錯覚が盛んに研究されていて、これらをうまく組み合わせれば触覚の錯覚を引き起こせるのではないかということで、研究するに至りました。

Q. 当時、先生以外にも触覚に着目している研究者はいましたか？
雨宮――ロボティクスの分野などでは盛んに研究されていたようですね。2000年代にはさまざまな分野から触覚の研究者を集めてハプティクス(Haptics)という国際的な１つの学術領域にしていこうという動きがあり、その頃から心理学系の研究者も入ってきました。今では各分野の交流が進み、たとえば視覚の研究成果を触覚に転用したときにどういうことが起こるかなど、さまざまな提案がされています。錯覚もホットトピックになってきて、今まさに黎明期を迎えたような印象です。

Q.さきほど福島先生との出会いに触れていらっしゃいましたが、先生の研究の根底には障害者支援の思いがあるのでしょうか？
雨宮――学生時代からずっとそうですね。文化的な保全などと同様に、障害者に対する情報技術での支援は大学の使命だと考えています。障害というのは感覚系、運動系、認知系などさまざまで、先ほどご紹介した歩いているような錯覚は運動系の方に対する情報提示になるかもしれません。また、VRではさまざまな気持ちの変化を表すことができますから、社会参加が困難な方を誘導できる可能性もあります。いろいろなアプローチができると思うので、今後も学術的な支援の道を模索していきたいです。

触覚は強化できる

Q.たとえばパラリンピックで最先端の科学技術が選手を強化するように、情報技術によって触覚自体が大幅に発達することもあるのでしょうか？
雨宮――あると思いますよ。われわれは健康診断などで視力検査はしても「触力」検査はしませんよね。触力覚の感度を調べる実験をしてみると、真面目に取り組んでるのに全然タスクができない方がたまにいらっしゃる。触覚は個人個人によって差があるんです。

Q.普段の生活ではあまり実感が沸かない事実ですね
雨宮――日常生活の中で触覚単体で情報を得ることはほぼありませんから。逆に言えば、視覚や聴覚を頼りにして、触覚を使っていない人もいるということです。触覚がものすごく優れている人は埋もれているし、逆に触覚がまったくないような人も普通に生活できているのだと思います。そこを情報技術で強調することもできるでしょうし、逆に使わなくて済むようにもできるでしょうね。

Q.感覚の強化というのは、応用の幅がありそうです
雨宮――触覚というのは未知の領域が多い分、補助のしがいもあると思います。実際、40歳を過ぎると指先の振動感度の数値レベルがどんどん下がってしまいます。お年寄りがよく掴んだものを落としてしまう原因のひとつで、そういうところを少し補うだけでも日常生活が楽になるはずです。錯覚で支援することもできるでしょうし、それこそパラリンピアンのようにセンサーを活用するなど、さまざまな方法が考えられます。

Q. 触覚支援ということは、触れたときの感覚を増幅するということでしょうか？
雨宮――感覚には色々あって、触られた感じ、押された感じ、ざらざらした感じ、温度など、さまざまな感覚が統合されたものが触覚です。よく「五感」といいますが、実は分類上は五感のうち触覚だけ別物なんです。視覚、聴覚、味覚、嗅覚は特殊感覚、触覚は一般感覚と分類されます。何が違うのかというと、触覚のセンサーは全身に分布しているんです。触覚用のデバイスとなると全身を覆わなければいけないので、眼鏡や補聴器、あるいはゴーグルやヘッドホンのようにはいきません。そこがなかなか難しいこともあり、あまり研究が進んでいませんでした。一般的な触覚提示技術はまだできていませんが、今後そういったものを作ることができれば、五感のさまざまな体験を情報技術で再現することが可能になるはずです。

Q.味覚は嗅覚の情報によって左右されますが、触覚も他の感覚の影響を受けるのでしょうか？
雨宮――味覚や嗅覚が化学物質で情報を受容するのに対して、触覚は物理的な振動で情報を受容します。波動という意味では、触覚は視覚や聴覚に似ているところがあります。VR研究でも五感の組み合わせ方というのが一番面白いところだと思います。

VR空間ならではの体験を追求する

VRと触覚の可能性を突き詰めていく中で、近未来のサービスの形が見えてきた

Q.感覚を「だます」技術というのは、商品やサービス開発にも需要がありそうですね
雨宮――おかげさまで、さまざまな企業から声を掛けていただいています。情報技術を「使ってください」というよりは、「一緒に考えましょう」ということが多いですね。企業との共同研究のほとんどの案件はコロナ前から進んでいますが、コロナ禍で生じた課題を解決するようなアイデアもいくつかご用意していますし、新しい技術の種になりそうなものもたくさんあります。

Q.具体的に伺ってもよろしいでしょうか
雨宮――一つはAR、VRを利用した展示です。広島で原爆を体験された方々はかなり高齢で、戦争体験を次世代に直接伝えることが難しくなってきました。そこで、バーチャルキャラクターに語ってもらおうという試みが進んでいます。また、原爆ドームの前でVRゴーグルをかけると今いる場所の過去の映像が映し出されます（図3）。空間はそのままで時間軸だけ操作するような表現をすることで、より自分事として受け入れられるようになります。このプロジェクトもコロナ以降は現地に足を運べない方向けに、少しアプローチが変わってきていると感じますね。

図3　原爆ドーム前のVRによる過去体験

Q.コロナ前後で企業の動きにも変化があった？
雨宮――コロナ前と比べると、企業からの問い合わせはかなり増えました。選択肢としてVRに可能性を見出していただいているのは嬉しい反面、現状のVRでは対応できない点にはもどかしさもあります。研究段階のものと普及しているものは必ずしも同じではなくて、実はVRゴーグルが必要ないVRもたくさんある。しかし企業とは、VRゴーグルありきでお話しすることになってしまうことが多い。現状その範囲内でできることはZoomと大して変わらないこともある。その辺りをちゃんと一つずつ整理しながら進めていくのが、今後のミッションだと考えています。

Q.では具体的に動き出しているお話はありますか？
雨宮――VRによる消防教育訓練というのがあります。現場経験が浅い若手の消防士さんが増える中、火事そのものも減っているので、効率的にトレーニングできないかということで進めてきた試みです。訓練という頭でいるとどうしても気が抜けてしまいますが、本気でやらないと訓練になりません。そこでVRを使うわけです。VRゴーグルをかけると辺りがものすごく燃えていて、泣きじゃくっている声がして、「助けなきゃ」という使命感が出てきます。だけど煙が出ていて視界が遮られて進みにくい……というように、あらゆる状況を再現するシステムです。

Q.実際の火災現場に非常に近い環境を作り出すということですね
雨宮――そうです。将来的にはパッケージ化して、全国で使おうという話も出てきています。そのようにオンラインでは伝えきれないものをビジネスに持っていく動きは生まれつつある気がしますし、今後どんどん広がるのではないかと思います。最近では化学実験のシミュレーションにもVR技術が導入されていて、消防訓練と同じく安全にできますし、実際に薬品を使わなくていいのでコストが浮くというメリットもあります。

Q.化学実験が失敗するところまで安全に体験できる？
雨宮――おっしゃる通りです。正しく失敗することは教育上非常に重要ですから、そこも含めてVRで体験していただければと思います。またVRとAIの融合で、バーチャルキャラクターと会話をしながら接客の訓練ができる「接客VRトレーナー」というものもVRセンターで取り組んでいますね。こういうシミュレータは、以前はフライトシミュレータや医療シミュレータなどの限られた職業用のものしかありませんでした。それが徐々に市民権を得てデバイスも安くなり、こうした接客業向けのものができるようになりました。

Q.接客業向けも失敗できるようになっているのでしょうか？
雨宮――クレーマーのデモが入っていて、ちょうどいいタイミングで「申し訳ありませんでした」の一言がないと怒られてしまうんです（笑）。ただ、怒られすぎるとトラウマになってしまう場合があるので、訓練を受ける側の心拍数を測っています。単にストーリーを進めるだけではなく、いろいろな情報をうまく活用しながらトレーニングできるようにしています。

VRとAIで過去を疑似体験する

Q.AIを活用した事例はほかにありますか？
雨宮――最近はVTuberというのがありますよね。画面上ではアニメ調のアバターですが裏では人間が動いているというもので、私達もオンライン授業で同じような試みをしたことがあります。これは、アニメ調のキャラクターではなく実在の人物でやることもできるんです（図4）。ディープフェイクという一種の「だます」技術なんですけれども、たとえば深層学習で作った人間とオバマ前大統領の写真を組み合わせると、オバマ前大統領の表情や顔の向きを自在に変えることができます。

図4　雨宮准教授の顔を別人に置き換えた様子

Q.まさに実写版VTuberですね
雨宮――悪用すればなりすましもできるわけですが、やりようによっては面白い授業ができるかもしれません。たとえば授業で本能寺の変を扱うときに、織田信長の顔で「まさか明智の奴が来るとは」なんて言ったらすごくインパクトがある。歴代の名誉教授が名講義をするというのも面白いですね。これはディープフェイクのいい使い方かもしれないと思い、いろいろと実験を進めているところです。

Q.過去の疑似体験ができるのはVRならではと言えそうです
雨宮――時代を越えるといえば、たとえば「バーチャル東大」でその年ごとの安田講堂を作っておいて、同窓会のときに自分が学生だった頃の安田講堂前で写真を撮れたら面白いと思うんです。自分も学生時代のアバターで若返って登場できたら、当時を思い出すきっかけになるかもしれません。

Q.様々な場面で活用できる可能性がありますね
雨宮――結婚式の花嫁がアバターで登場したりね。ただ「結婚式の前に頑張って痩せよう」みたいなモチベーションが消えてしまう可能性がありますけど（笑）。「見た目を変えると気持ちが変わる」という研究が最近多いですが、日常生活では鏡と正対しない限り自分の見た目が変わったところを見る機会はなかなかありません。それに対してZoomではどうしても自分を直視することになるので、VR的な引き込みとしていい役割を果たすのではないかと思います。

Q.Zoomではずっと自分の姿が視界に入る分、ビフォーアフターも一目瞭然ということでしょうか
雨宮――その通りです。実は今、VRセンターにアバター撮影用の施設を作っているんです。そこで両手を広げて立つとカメラが全身を撮影してくれて、そのアバターのままVR空間に行くこともできます。アバターの編集もできまして、体格を変えたり、お化粧をしたり、髪を伸ばしたり、性別を変えてしまうこともできます。そこまで見た目を変えるとそれこそ気持ちも変わるでしょうし、リアルとバーチャルの境目は曖昧になっていきますよね。

異分野から見たVRとは？

Q.現実世界でお化粧や装いを変えるのではなく、アバターを変身させてしまうと
雨宮――そのようにアバターを活用して、自分だけでなく他者に対しても新たな体験ができないか考えているところです。オンライン授業では多くの学生がアニメ調のアバターをまとい、いかにもバーチャルという空間になっています（図5）。そのアバターがみんなフォトリアルなものになると、印象も風景もずいぶん変わるでしょうね。たとえばソーシャルVRサービスや「バーチャル東大」に入ってくる人たちにそういう形で面白いアプローチができないか、模索を続けています。

図5　アバターで受けるオンライン授業の様子

Q.オンライン授業をする側も、学生たちの見た目が変わると気持ちが変わるものなのでしょうか？
雨宮――双方にとって影響があると思いますし、そういう研究も多いですね。特に最近多いのは、「その人の立場に立って考えなさい」という教育の代わりに「その人の視点になって理解を深めましょう」というものです。たとえば白人の方が黒人の方のアバターをまとい、扱われ方の変化を体験するという研究があります。見た目によって人が態度を変えることがあると知るのは非常に大事なことですし、自分の考え方にも大きく影響を及ぼすのではないかと思います。

Q. お話を聞いているとVRは情報だけでなく様々な分野とも密接につながっているように感じます
雨宮――そうですね、特に心理学系の先生とは、お話しするたびに得るものが多い。ちょうど情報系と相補的な存在だと思うので、そういう分野の先生にはいろいろとお話を伺いたいですね。VRセンターと関わりのある先生方はもちろんですし、それ以外ですと薬学部の池谷裕二先生にもぜひ一度お話を伺ってみたいです。

Q. メディアにもよく出られています
雨宮――そうですね。細胞系、脳研究系の先生方とはほとんどつながりがないので、そういう先生方から見たVRというものに興味があります。あとはやはり先端研の福島先生ともお話ししたいんですが、なかなか機会に恵まれません。コロナを経て障害者支援に関する問題意識がどのように変化したか、きっと示唆に富んだお話を聞かせていただけると思います。そこを一つのニーズとして捉えて、情報技術によってどのように問題を解決できるのかを考えていきたいです。

VR技術が一つの選択肢になる未来

VRによる様々なサービスを考案してきた雨宮准教授から見る、近未来の情報社会とは？

Q.情報、あるいはVRの未来についてどのようにお考えでしょう？
雨宮――コロナ禍でドラスチックな社会変化が起きて「異常だから元に戻そう」という人もいれば、「せっかくだしここからいろいろと展開してみよう」と考える人もいます。私は後者のタイプで、コロナ禍で足りなくなっている心のつながりのような部分を情報でうまく補ってあげるのがバーチャルの使命だと考えています。家の中で何でもできるのも一つのゴールだとは思いますが、やはりVR技術者としては、現実の生活で足りないところを情報技術で埋めるようなことを目指したい。

Q.これまで現実生活を補う手段はメディア媒体でした。今後はVRがその役割を担う？
雨宮――たとえばVRが現実を追い抜いてしまって「自宅にいる方がリッチな北海道体験ができる」ということになると、いろいろと変わってくるかもしれません。もちろん現実世界を見本にしてVR空間を作るわけですし、心の中でのリアリティと現実世界は必ずしも一致しないと思いますが、VR技術でしかできないことを使ってよりハッピーになるという選択肢があってもいいのではないでしょうか。

Q.現実の代替という意味では、触れるだけで物の感触や暖かさが伝わる仕組みもできるのでしょうか
雨宮――やはりそういう技術には憧れます。それこそ触覚研究は、実際にその場で体験しなくても温度や感触が伝わるような情報技術を作ろうという話で進んできました。ただ、触覚を再現するデバイス側も人間の処理側もなかなかうまくできていないので、そこがクリアできると一気にいろいろと変わっていくのではないかと思います。たとえば、オンラインショッピングで商品の素材感まで伝えられるようになると面白いでしょうね。

Q.たとえば「バーチャル東大」に触覚の機能を追加して、本来触ってはいけないものの触り心地を再現することもできるでしょうか
雨宮――そうですね。博物館の展示品には直接触れられないことが多いですが、レーザーなどで距離を測って擬似的に触ったような感覚をつくる研究もあります。オンライン上で形や硬度などの情報をうまく再現できれば、そういうことも可能になるはずです。最近も小惑星イトカワから採取した微粒子の展示が話題になっていましたが、滅多に触れることができない物の手触りを再現できるようになればコンテンツ力も高まると思います。視覚や聴覚に訴えるコンテンツに比べると触覚はまだまだ注目されていませんが、触覚の面白さが世に広まることで研究者も増え、研究が加速度的に進むことを願っています。

※コロナ対策により、インタビュー中はマスク着用としております

研究が社会で果たす役割を考えてほしい

社会的な潮流になっているVR、そして触覚の研究に期待される後進の育成について伺った

Q. 先生の研究室で、学生はどのような活動を行っているのでしょうか
雨宮――企業との共同研究を手伝ってもらうこともありますし、最近では電気刺激の実験などの基礎的研究も行っています。漫画やアニメには電気刺激を使ったVRがよく登場するので、そういうところをきっかけにVRに興味を持った学生さんはやはり電気刺激を研究することが多いです。また、VRというのは単なる手段でしかありません。日常生活にVRを活かすとなると、実に多様なテーマがあります。学生さんのやりたいことを聞いてテーマを決め、交流しながら進めていく感じですね。

Q. 研究室を運営していくにあたって、学生さんに期待することは？
雨宮――まずは気負わず気軽に遊びに来てもらいたいなと思っています。デジタルネイティブが日頃感じているような問題も、実は研究の種になります。VRの分野は漫画やアニメから影響を受けることも多くて、そういったものの流行りは世代ごとに違いますから、私の知らない話をぜひ聞かせてほしい。

Q. VR研究に向いているのはどういう学生でしょう
雨宮――やはりVRが好きというのが一番で、特に「自分の好きなVR」を確立していることが大事だと思います。おそらく10年後にはVRは違う使われ方をしていると思いますし、VRという言葉自体なくなっているかもしれません。たとえば「楽しい体験を作りたい」というのがあるならそれを大事にしてほしいですし、私の場合は触覚ですけれども「味覚を突き詰めたい」とかそういうものが一つあると、多少状況が変わってきてもぶれないと思うんです。そういうものがある学生さんは、きっと向いているのではないかと思います。

Q. 学生をエキスパートに育てる上で、先生はどういったポリシーをお持ちですか？
雨宮――自分の研究が社会でどう使われるかをきちんと想定しながら、研究を突き詰めていける人材になってほしいです。特にVRは実用性も重要視されますから、どう使われるかを常に意識するのは大事なことです。あとは、「自分がやったことを誰が喜んでくれるのか」を念頭に置いて研究開発を進めることも大事ですね。基本的には自主性を重んじているので、なるべくこちらからは「こういうのをやらないと」ということは言わないようにしています。自分の力でやっている感覚を持ちながら進めてほしいですし、万が一見失ってしまったときは助けに行くのが教員の役割だと考えています。

Q.就職事情として、VR業界は人材が求められていますか？
雨宮――世界的にそういう風潮はあります。Oculusという安価で高性能なHMDが登場して以来、VR技術者の需要が高まっているのは間違いありません。Oculus社はFacebook社（現・Meta社）に買収されるなど世間を騒がせ続けていますし、ハードウェアだけでなく3DCG空間を作れるような技術者やVRに特化したAI技術者は非常に注目されていると思います。いい意味で人材の取り合いのようになっているので、私達も負けていられません。
（取材日：2021年9月29日）

キーワード

1 システム同定：主に制御工学において、システムの動的モデルを計測データから構成するプロセスのこと。

2 廣瀬通孝：東京大学名誉教授。博士（工学）。先端科学技術研究センター教授、情報理工学系研究科教授を経て、2020年定年退職。VR研究の第一人者として知られる。

3 福島智：東京大学先端科学技術研究センター教授。博士（学術）。全盲ろう者としての視点から、バリアフリー研究に取り組む。詳しくはこちらhttp://bfr.jp/

4 パラリンピアン：パラリンピック選手、パラリンピック出場経験者の総称。

5 Vtuber：バーチャルユーチューバー（Virtual YouTuber）の略語。Vチューバーとも。CGで描画されたキャラクターをアバターとして用い、YouTubeなどで動画を配信する人々の総称。

6 ディープフェイク：深層学習（ディープラーニング）と偽物（フェイク）を合わせた造語。AIを用いた画像合成技術のこと。映像に別人の顔を合成して動画を生成できるため、悪用が問題視されている。

7 深層学習：ディープラーニングとも。人間の脳を模したネットワーク（ニューラルネットワーク）を用い、本来人間が行うようなタスクをコンピュータに学習させる機械学習の手法。AIの発展を支える基礎技術の一つであり、さまざまな分野に応用されている。

8 バーチャル東大：VRサークル「UT-Virtual」の有志メンバーがバーチャル空間に再現した東京大学本郷キャンパス、またはそのプロジェクト。コロナ禍でのオープンキャンパスや五月祭の会場として活用されている。詳しくはこちらhttps://vr.u-tokyo.ac.jp/virtualUT/

9 デジタルネイティブ：インターネットやパソコンが普及した環境で育った世代。定義はさまざまだが、1980年前後以降に生まれた世代を指すことが多い。

10 HMD：ヘッドマウントディスプレイ（Head Mounted Display）の略。1968年にアイバン・サザランドが開発した、頭部に装着してVRを体験するためのディスプレイ装置。ゴーグル、ヘルメット、眼鏡などの形状がある。