『ミクストリアリティ』で過去、現在、未来をつなぐ
知能機械情報学専攻　谷川智洋 講師

ライフログを可視化、キーの画像で引き出す
人が乗り移ったロボットがギャラリートークも

　バーチャルリアリティ（VR）とリアルワールドを融合した『ミクストリアリティ』によって、谷川講師は、これまでにない映像の世界をつくり上げようとしている。膨大な日常生活の行動を記録したライフログに注目し、この記録情報を可視化してバーチャルタイムマシンで過去から現在までの時間や空間を自由に体験できるようにしたり、実写の画像から3次元空間を自動的に再構成したり。谷川講師のPCの中には驚きのシーンが満載である。老朽化などで取り壊されたミュージアムもバーチャルに再現し、バーチャル画像の内部にまで入り込む感覚や臨場感を演出するところまで技術を高めている。「モナリザの前で、彼女の微笑みは何を語っているの？　と知りたくなったら、そばにいるロボットが対応して、もっと近寄ってみましょう、ナゾが解けるかもしれませんよ―ロボットがこんなギャラリートークをするようになったら、楽しいですよね」。このような興奮を与えてくれるミクストリアリティの世界が徐々に拓かれつつある。

臨場感のあるコンテンツづくりを実証

ライフログ

※ページ内の画像は、画面をクリックして拡大画像をご覧下さい

　最近、谷川講師が力を入れているのは、ライフログの可視化である。ライフログは自分の記憶をサポートする情報技術として情報系研究者が着目している研究分野の1つ。人は年齢を重ねるたびに物忘れが多くなるが、思い出し支援だけでなく、生活の中でもっと積極的に情報を活用することを目的に、人の体験をありのままに記録した大量の情報の中から、見たいときに効率よく人に提示しようという研究が行われている。谷川講師は、最も思い出したい記憶を的確に引き出すために、キーとなる画像を芋づる式に選び出して提示することに照準を合わせている。

　そこで必要になるのは、膨大なライフログ情報の取り込みと解析である。谷川講師は、ウェアラブルコンピュータを用いてセンサーから得られるデータを解析し、必要なときに必要な過去のデータが得られる研究を行っている。人の1日の行動履歴を画像データや音声データ、立っているか座っているか、動いているかといった姿勢データ、心拍数などの生体情報データに分けて取り込む。人は物事を連想して記憶していると言われており、ある人と会ったときの顔を選び出すと、「それを見て、この人とはこんな話をしたんだ」ということが思い返せる。この連想記憶の特徴をうまく利用することで、過去のことを芋づる式に思い返せるようになると考え、データごとに分類して提示することにしたのだ。中でも、気づいてほしい情報は比較的大きく、それほど重要でないもの、重要ではないが削除してはいけないものは小さくといった具合に、ライフログ情報をイベントごとに関連付けて整理し、キーとなる画像を選び出して提示する方法を追求している。「手応えは十分」と谷川講師の目が語っている。

バーチャルタイムマシン

　ライフログの可視化に当たって、VR技術を応用して行ったゲノム情報の可視化手法を活用した。がんに侵されたゲノムデータから、がんが生じる原因はどこにあるかをつかむのに、大量のゲノム情報をVR技術で一度に提示する手法がライフログ情報の可視化に適していると考えたのだ。

　これとは別に、ライフログ情報の利用法も見いだしている。いろいろな人のライフログ情報から、バーチャルで時間・空間を自由に体験できるシステムがバーチャルタイムマシンインタフェースである。記録された画像情報と位置情報をもとに、日本あるいは東京都の地図上に人がどういう行動をとったかの履歴をマッピングすると、どの経路を通って他の人と交流したかがわかるのだ。より高密度の情報活用に結びつけられる可能性も示している。

　「数枚の2次元画像をシームレスにつなぎ合わせるだけで、3次元空間も自動的に再構成できる」という手法を使って、東京・神田にあった交通博物館（2006年5月に閉館。その後、さいたま市に新設）を見事に甦らせることに成功している。閉館前に撮影した4000枚を超える画像を用いて、鉄道ファンにとって思い出深い内部の部屋の模様や展示物をデジタル再現し、あたかもその部屋に入っているかのような感動さえも実現している。「当時、この展示物はこんな形で置かれていたんです。しかも、こんな色だった」と体験しないとわからないことを、文字や写真ではなく直観的に視覚に訴えており、臨場感のあるコンテンツづくりが可能なことを実証してみせた。「次は美術館や博物館で、ロボット自身がバーチャルギャラリートークができるようにしたいですね。ロボットに人が自宅から乗り移って説明して回れるような仕組みも」。絵画を鑑賞する人にも驚きと感動を与えられるし、ロボットを通して入場者の動き、興味の内容など、各種の情報を収集できるメリットも生まれる。そうした研究もスタートしている。

ビル影の向こう側の様子を予測する手法も

障害物除去画像の生成

　また、ビルの陰になっている向こう側の風景がどうなっているのか、死角になっているところで何が起きているのかを、別に撮影した画像でフォローし表示する技術も開発している。複数の画像をもとに、どこが障害物になっているかを指定することで、障害物の向こう側の様子がわかるのだ。これを応用すると、現在の街中の3次元空間と昭和30年代の3次元空間を接合することによって、当時のシーンを浮かび上がらせることも可能になる。

　谷川講師は、東大工学部機械情報工学科時代の廣瀬研究室の出身。3次元空間づくりに興味を覚えたのが画像研究の始まりだった。多くの人たちに3次元空間のサプライズを提供するよりは、自分で体験した世界を再現する研究に軸足を置く。「VR技術を駆使することによって、人間はどのようにして思い出しているのか、周りの世界をどうみているのかを知ることができる。それがとてもおもしろいところで、そのあたりを技術として固めたい」。「たとえば、いろいろな人がデータを提供し合って1つの集合体なっているウィキペディアは魅力的。だけど、それが計算機の中に閉じているのが不満なんです」。谷川講師は、文字やバラバラになった画像ベースではなく、“知”として共有できるものにしたいという視点からミクストリアリティを攻めている。画像を操って過去と現在をつなぎ、未来を予測する、谷川講師の研究は飛躍へのステップに乗っている。