「3次元プリクラが登場したら、子どもはもちろん、大人だってはまりますよ。いままで見たこともない、自分や友だちの顔などの表情をいろいろな角度からリアルに撮影できる。それをケータイにダウンロードして、仲間と交換も。サプライズと楽しさが満載です」。山崎講師は、3次元映像のおもしろさと広がりをこう表現する。3次元映像は、画面から飛び出すように実感できる究極の技術だが、このままではデータ量が膨大すぎて、コンピューターでも処理がしにくい。データの圧縮・検索・編集といった加工技術が生命線だ。山崎講師は、独自のアイデアを盛り込んだ技術を用いて、能など伝統芸能のアーカイブ化を進めている。これが一般化すると、あなたが好きなアーティストのコンサートシーンを撮影し、3次元映像でDVDに取り込める日もくる。映像の魔術師、山崎講師が送り出そうとしているのは、これだけではない。安心・安全社会の構築に寄与するものもある。のちほどお披露目しよう。
3次元映像とくれば、やはりハリウッド。映画の世界では、CGモデルや、人体に付けたセンサーで動きを表現するモーションキャプチャを使って捉えた3次元の動きをもとにスペクタクル映像を作成し、観客に驚きと感動を与えている。山崎講師らがNHK放送技術研究所や国際電気通信基礎技術研究所と共同で開発しているアプローチは、3次元CGとはまったく異なる。撮影した3次元シーンを実写ベースで再現する手法だ。被写体の周りにカメラ40台を配置し、被写体のシルエットだけを撮影して3次元映像をつくる視体積交差法と呼ぶ手法を用いている。人や動物など実世界の物体の形や色はもとより、動きに伴う洋服のしわ、揺れ方などを忠実に再現できる、CGにはない特徴がある。この手法を駆使して能のアーカイブ化にチャレンジ中。能をはじめとした伝統舞踊、伝統芸能の悩みは後継者不足。踊り方を楽譜のような特殊な文字（舞踊符）にして伝えるやり方もあるが、どうしても限界がある。
 |
| 複数のカメラで撮影した３次元映像をもとに、だれでも、いつでも、どこででも見られる 映像を提供する。取得から圧縮、検索、編集にいたるまで一連の流れを研究している |
3次元映像にして保存したほうが有利だが、課題はデータ量の多さ。たとえば、何も圧縮しないオリジナルファイルデータは、1コマで10MBもあるので、1枚のDVDには1分程度の映像しか入らない。2次元映像についてはMPEGなど標準化された圧縮手法が確立しているが、3次元映像はデータ構造が違うので、能のアーカイブ映像をDVDに記録したり、インターネットで送るには、新しい圧縮手法が必要になる。また、検索や編集も自由に行えるようにしたい。そこで、シルエットを撮影した3次元オブジェクトをブロック化し、よりオリジナルに近い形で情報量を100分の1などに圧縮して、DVDに記録できる時間を多くする。3次元映像のデータ構造を頂点座標、頂点同士の結線関係（エッジ）、頂点の色（もしくは三角パッチ）に分け、これらをもとに最適な圧縮率を編み出している。
 |
 |
| 入力3次元映像をもとに 類似動作を検索する |
データベース中のシーケンスの断片 をつないで新しいシーケンスを生成 |
| ※画面をクリックして拡大画像をご覧下さい | |
検索はどうするか。ラジオ体操をしている人たちを見たとき、私たちならどんな動きの体操をしているかがわかるが、コンピューターにその動きのデータを与えただけでは、中の3次元物体が何の動きをしているか判別できない。それをコンピューターが読めるような、計算しやすいような特徴ベクトルに変換してやると、特徴ベクトルから動きの切れ目などもわかるようになる。山崎講師は、特徴抽出法についても独自の味付けをしている。こうした手法によって獲得した3次元映像をつなぎ合わせて、見た目で違和感のない映像づくりに生かしている。
ハリウッドなどで使われているモーションキャプチャ技術と実写ベースの3次元映像を融合することも欠かせなくなるだろう。「モーションキャプチャを使って蓄積されたデータベースや技術がたくさんある。これを使わない手はない。3次元映像の圧縮や検索、編集に役立つはずですから」
山崎講師は、3次元CGの高精細化にも切り込んでいる。能の主人公にスポットを当てるだけでなく、舞台の屏風絵や周りの置物などにも目を向ける必要がある。これらが持つ高精細な凹凸感を、ノーマルマッピングと呼ぶCG用の質感データでつくり出している。これもデータ量が大きいので、数学モデルで圧縮する方法を提案し、凹凸感を表現するのに有効なことを示した。視体積交差法と3次元CGの融合でまったく新しい映像創出に見通しを付けつつある。
3次元映像技術で山崎講師のアドバンテージはどこにあるかを問うと、「クオリティーの高さ」という答えが返ってきた。「能の主人公の舞いに伴って揺れる着物の複雑な形状を表現したり、微細な色の貼り付け方など、多くの点で先行している」。とはいえ、圧縮、検索技術はまだ完成の域に達していない。高度化などを進めて技術の優位性を確保し、世界のスタンダードを目指す。
山崎講師の映像を操る研究は広範に及ぶ。『電子透かし』もその1つだ。画像の中に通常では見えないように情報を埋め込んで不正な流出を防ぐのが目的。現在の電子透かしの読み出し技術では、画像を非線形にゆがませてしまうと透かし情報の読み出しが途端に困難になることが多いが、埋め込んだ位置の目印の付け方を工夫すれば、そのような画像からも正しく透かし情報が読み出せる。山崎講師が開発した透かし情報の読み出し精度は、従来技術の10の10乗オーダー、つまり、1億から10億倍も向上させることに成功している。現在、実用化を視野にシステムのブラッシュアップを進めている。
学生時代はVLSIの設計研究を行い、人間のような知的処理ができないかを追求した。人は過去の経験に基づき、似たものを探して判定し行動している。それと同様に、LSIに過去に学習した経験を記憶し、新しいものを与えたとき、両者を比較して最もよく似たものを選ぶ機構を組み込んだ。多くの成果を挙げたLSIの知的研究の次に展開したのが、LSIを応用して画像処理を行う研究である。3次元映像技術は実用化の一歩手前までこぎ着けた。いまは山崎講師のPCの中でエネルギーをため込んでいるところだが、表舞台で羽ばたく日を心待ちにしたい。
Copyright © 2019 Graduate School of Information Science and Technology, The University of Tokyo
