東京大学大学院 情報理工学系研究科附属 情報理工学教育研究センター 数理・情報教育研究部門 准教授
略歴
2002年3月 京都大学大学院 情報学研究科 知能情報学専攻 修士課程
2005年3月 同大学同研究科同専攻 博士後期課程（単位修得済満期退学）
2006年9月 博士（情報学）取得
現在 東京大学大学院 情報理工学系研究科附属 情報理工学教育研究センター 数理・情報教育研究部門 准教授
画像・映像認識、自然言語処理、対話システム、情報検索、機械学習、CHIなどあらゆるメディア情報技術を活用して課題の解決に取り組む。
ホームページ：
http://www.hal.t.u-tokyo.ac.jp/
食事は誰もが毎日食べるもの。山肩洋子准教授は目下「人と地球の健康のためのフードコンピューティング」を念頭に、情報技術で食やレシピを支援する研究を行い、エンドユーザー向けのスマホアプリとしても結実している。しかし日常的な行動である料理には数多くの要素があり、その研究のためには、画像認識や自然言語処理から、深層学習に至るまで、いくつもの分野を横断する必要があった。研究の経緯から進行中の意外なプロジェクトまで、幅広い活躍をお話しいただいた。
（監修：江崎浩、取材・構成：近代科学社 出版事業部）
Q. 山肩先生は情報技術を駆使して人間の食行動、つまり食べることの支援を研究されているとのことですが、そもそも先生が食に注目されたきっかけはなんですか？
山肩──私はもともとハンドクラフトのようなモノづくりや、ミシンのようなモノを作る道具も好きで、そういった興味を画像認識と組み合わせたテーマは何かと考えて料理にたどり着きました。何かを認識しようと思ったときには、何らかの記号に結びつけていくというのがストラテジーです。では、料理の行動はどのような記号として書かれるのかと考えたときに見つけたのが、レシピでした。小説のような普通の文章を解析するのは、その当時は本当に難しかったのですが、レシピというものはとても機械的に書かれているし、しかもかなり整理されていて、形式も決まっているので、いろいろな研究ができるのではないかと考えたんです。
Q. 研究の始まりは、具体的にはどのようなものでしたか
山肩──はじめは京大の博士課程の時代でした。映像認識の研究室で、調理行動を観測して人が何をやっているのかを認識するという研究をしていました。キッチンに可視光カメラと赤外線カメラを付けて調理の様子を観測して、ユーザーが例えばナスを手に取ったら、ナスを取ったと判断してアドバイスを出すというものです。
Q.ナスを取ったら、ナスの料理を教えてくれるのですか？
山肩──いえ、困ったときだけアドバイスしてくれるシステムを考えていました。料理というのは言われたまま動くのではなく、クリエイティブな創作活動だと捉えています。ユーザーとしてはやりたいことがあって、基本的には放っておいてほしい、そして必要なときだけ答えてほしい、それがあるべきシステムの姿だと考えたのです。ただそれを実現するためにはまず、ユーザーが何をやっているのか、これから何をしたいのかを認識する必要があるので、それを解析する研究をしていました。20年前の研究ですが、いまもまだそこまでは実現していません。
Q.ナスが材料のままであればともかく、調理の過程を認識するのは大変ではないでしょうか？
山肩──そうですね。画像認識というのは、「同じ名前が付いているものは、すべて共通の性質を持っている」という、同質性と呼ばれる考え方を基本にします。ところが、料理ではこれが失われたり、さらには別の名前になるということが起きるんです。例えばリンゴは誰でも見ればわかりますよね。多少形が違っても、赤くて丸いというような共通の性質を持っているからです。しかし、皮をむいて、角切りにして、焼いてアップルパイにすると、形も名前も変わってしまいます。そこで、料理の途中の物体をどうやって認識するのかということは、新しい課題だと思ったわけです。
Q.料理途中の物体を認識するために、どのような方法を考えられましたか
山肩──それが過去や未来の何と同一の物体なのか、が大事ではないかと考えました。角切りリンゴを見ても、多くの人はリンゴと言うでしょう。かつてリンゴと呼ばれていた物体と、アイデンティティーが同じだからです。これは同一性に基づく認識ですよね。そうすると、任意の時点でのある物体は、過去のどれと同一なのか、未来のどれと同一なのかということを特定する必要があります。そこで、物体をずっと追跡し続ける必要があるということになりました。
Q.調理行動そのものの同一性はどのように比較するのでしょう
山肩──例えば肉じゃがを作るとします。材料にはニンジンとタマネギとジャガイモと肉があって、これをずっと料理の開始から終了まで追跡し続けると、最後は1つの「肉じゃが」に行きつくので、フローグラフになります。もしも肉じゃがのレシピのテキストがあれば、そこにも材料と加工のワークフローが書かれているので、これもフローグラフになります。どちらも同じものをから来ているのですから、この2つのグラフは、多少違っていてもだいたい同じだと言えるはずです。ここまでできれば情報をグラフマッピングに落とし込めるので、実際の調理行動とレシピの間のマッピングを取れば、途中の食材も認識できるだろうと考えました。テキストからフローグラフへの変換は、最初は手作業でやっていましたが、これを自動化しようと考えて、次は自然言語処理の研究を始めました。
Q.今度はテキスト処理の研究になってくるのですね
山肩──日本語には基本的に単語の間に区切りがないので、まず単語に区切ります。これに固有表現認識と呼ばれる技術を適用すると、例えばトマトは材料、角切りは動作、タマネギは材料でみじん切りは食材の状態というように、料理手順を説明する上で重要な単語を認識できるようなります。さらに述語項構造解析と呼ばれる技術を使って、それをグラフにするということをしていました（図1）。イギリスの研究者と共同研究して英語のコーパスも作ったりして、世界中で使っていただいています。
図1 AIを使ってレシピと調理映像をそれぞれグラフに変換した後、対応付ける。こうすることで、調理途中の食材も認識できるようになる。
Q.レシピをグラフへ自動変換できるようになると、いろいろな使い道がありそうですね
山肩──レシピの検索でも使えるんですよ。大手のレシピサイトでは数百万件ものレシピがありますが、例えば肉じゃがで検索すると7,000件も出てきて、自分のほしいレシピを簡単には見つけられません。そういったときに、タイトル、写真、材料などの違いに注目する方法もありますが、私たちは手順にこだわってきたので、手順の違いを見つけたいと考えました。複数のレシピをグラフに変換してからグラフ同士を比較すると、あるレシピのどの表現が、別のレシピのどの表現にあたるのかを見つけられるようになります。例えば、あるレシピでは一言「煮る」とだけ書いてあっても、別のレシピでは「中火にして、アクを取って、落としぶたして……」と丁寧に書いてあったり、また別のレシピではレンジを使った時短レシピだったりします。このようにいろいろな違いを見つけられるサービスを作っていました。
Q. 膨大なデータを処理することになりそうです。そのデータはどこから入手されるのでしょう？
山肩──研究の世界では2017年に、100万件のレシピと1,300万枚の画像からなる「Recipe1M」というデータセットが登場して、大きなパラダイムシフトになりました。これにより、料理の写真を撮るとその材料リストや、レシピを生成する手法なども開発されました。以来、世界中でレシピに関する研究が行われています。写真は画像認識、テキストは自然言語処理という、別々の分野で研究がそれぞれ発展してきましたが、その両方を使ったマルチメディアという分野が話題になってきたときに「Recipe1M」が登場したので、一気に参入が進んだのだろうと思います。
Q. 巨大なデータに画像認識と自然言語処理が合わさって、新しい展開が起こったのですね
山肩──画像の関係と単語の関係は異なる世界の空間にあるので、この2つを一緒にする必要があります。そうすることで、例えば「リンゴ、バナナ、肉」の3つがあるときに、それらが画像であってもテキストであっても「リンゴとバナナは同じ果物だから近いけど、肉は遠い」ということが理解できるようになります。画像とテキスト、2つの世界の特徴空間を同じ空間に投影させるような研究が行われて、それが結構うまくいくことが分かってきたので、そこから派生してレシピを作ったり、レシピから画像を生成したり、さらには架空の料理の写真を作ることもできるようになってきています。
Q. いま先生が研究されているものには、どんなものがありますか
山肩──一緒に研究室を運営している相澤清晴先生と共に、食事の写真から料理名や栄養価を推定する技術と、それを応用したスマホ用のアプリ「FoodLog Athl」を開発しています（図2）。深層学習やAIの力で技術も成熟して、どんどん面白いことができるようになってきています。
図2 食事管理アプリFoodLog Athlのスクリーンショット。食事画像を登録すると、自動で食事領域を抜き出し、その料理名を認識して、栄養価を記録する。
Q.開発されたアプリについて詳しく教えてください
山肩──東大のアメフトチームのマネージャーの方が私たちの研究室に入ってきて、日本の学生アスリートは十分な栄養指導を受けられていないという問題を提起しました。それを解決するアプリを作るために始めています。FoodLog Athlに食事の写真を登録すると、食事の領域を検出して、何の料理があるかを認識します。それをアプリ側で持っているデータと照合して、食事全体の栄養価を自動計算して登録するというものです。この結果は栄養士へ送られて、そのフィードバックをアスリートへ返します。アプリの中にチャット機能も含んでいます。
Q.なぜアスリート専用なのでしょう？
山肩──アスリートは、競技やポジションによって必要とする栄養価が大きく変わるので、希望に合わせて1人ずつ細かくアレンジしなければなりません。スポーツ栄養学の先生とも共同研究しており、食事の時間帯にも細かい指導が必要であることを知りました。体作りをするアスリートの方も必死ですが、本人の好みもありますので、それに合った食事を一所懸命考えて提案する栄養士さんたちも大変だったんです。世の中には大学のサークルや高校の部活動をケアされているフリーランスの栄養士さんがたくさんいらっしゃるんですが、そういった方が私たちのアプリを見つけてくださって、自分がサポートしている学生にインストールさせてレポートを送ってもらうという方法で運用されています。
Q.アスリート用のアプリ以外では何か開発されていますか？
山肩──基本のレシピを書き換えることで、自分の料理の栄養価を計算したり、不足しているときは少しの変更で改善できる「RecipeLog」というアプリを作っています。例えば肉じゃが一つ取っても、実際は家庭ごとで違いがありますよね？特に違うのが分量で、実際にそのレシピを見ないと正確な栄養価は分からないんです。よくある家庭料理でも、実は家庭によってカロリーが3倍以上違うものもたくさんあります。
Q.そんなに違うものなのですか
山肩──牛肉といっても100種類以上ありますし、和牛、輸入牛、乳業用の肉といった種類でカロリーが5倍ぐらい違うこともあります。正確に見分けるには専門知識が必要なので、「FoodLog Athl」とも連携して栄養士さんの支援を受けられるものにしたいと考えています。また「RecipeLog」では、登録したレシピを書き換えることができます。例えば今日はブロッコリーが安かったから追加したとか、子どもがおなかがすいたと言っているから肉を多めにした、という日々の記録を取っていくことで、ここは変えていい、これを足してもいい、という情報を学習させます。
Q.いまある家庭のレシピを少しだけ改善するのですね
山肩──たとえ健康のためでも、食べるものを変えることは誰にとっても結構なストレスです。今日はあれを食べようと思っているのに、それはやめてこっちにしてくださいと言われたらちょっとおもしろくない。でも牛肉の量を減らしてくださいとか、砂糖や油の量を減らしてくださいという指示は、まだ対応可能だと思います。分量を調整することもできないかと考えています。
Q.では、全く新しいレシピの提案についてはどうお考えでしょう？
山肩──レシピの推薦は要望として以前からあるのですが、正直に言って私はあまりモチベーションはありません。ユーザのいつものレシピを、ユーザのニーズに合うように、ときには持病などの制約に沿うように調整することにフォーカスしています。また、レシピを誰にでも分かる記述に書き換えることも重要だと考えています。例えばじゃがいもを切りますという説明だけで十分な方もいますが、洗うとか、皮をむくといった、基本的なことを説明してもらいたい方もいらっしゃいます。熟練者と初心者では人それぞれの背景知識が違うので、まずはそこを補完するAIを作ることが最初のステップになるはずです。
Q.先生は食の研究を通して、どのような社会貢献、イノベーションを起こそうと考えていらっしゃいますか
山肩──以前は「人の健康のための食」というものを考えていましたが、最近は「地球のための食」がとても大事なトピックになってきています。これは立命館大学の山末英嗣先生と共同研究したお話ですが、食を作るために一体私たちは地球をどれだけ採掘しているのか、という問題を考えました。人間はいろいろなところで地球を採掘していますが、度を過ぎると、自然災害や、絶滅危惧種の発生といった問題を引き起こします。こういったことを、食に関してもきちんと見積もってみようという研究です。
Q.人間が食事のためにどれだけ地球資源を消費しているか、具体的に調べてみたということでしょうか
山肩──はい。例えば牛肉を生産するために必要な資源を考えてみます。牛を育てるために、まず餌としてトウモロコシや大豆が必要です。これらを畑で育てるにはリン酸肥料が必要です。リン酸肥料はリン鉱石を原材料としますが、これは採掘によって獲得します。一方で畑を耕すトラクターや、牛舎の暖房には燃料が必要です。このように多角的に追究して採掘量を割り出します（図3）。
図3 牛肉を生産するために必要な採掘活動。牛肉 1 kgを生産するためには49.3kgもの地球を採掘する必要がある。
Q.具体的にどれくらいの量になったのでしょう
山肩──牛肉1キログラムを生産するために、地球を49キログラム採掘しているという計算になりました。特に日本にはリン鉱石がなく、リン酸肥料は100％輸入ですから、日本以外の国をそれだけ掘り起こしているわけです。豚肉、鶏肉、卵や牛乳と比較しても、牛は生育の期間がとくに長いのでインパクトも大きくなります。具体的な料理に置き換えると、ビーフステーキ1食500グラムで、地球を約13キログラム採掘しています。
Q.それは驚きの数字ですね
山肩──だからといって牛肉を食べるなと言うつもりはありません。ただ、牛肉にする必要がないときに「今日はチキンにしようか」と考えてもらえたら、ちょっとずつ地球もよくなるのではないかと思います。私たちも「RecipeLog」アプリに「この料理を作るために、何キログラム地球を採掘するか」を自動計算する機能を追加する計画です。
Q.レシピのアプリからそういう情報が得られるようになると、食に対する考え方も変わりそうです
山肩──そうですね。一般の方はゴミの量は意識しても、自分の食事の選択がどれだけ環境負荷を与えているかについて特に意識していないと思います。私も元々は人の健康のための食を一生懸命に語っていましたが、北欧の研究者からそれはとても利己的な発想ではないかと言われたんです。その方は、人の健康と地球の健康を両立することは可能かということを議論されていて、地球や誰かの環境を破壊するような食べ方に非常に問題意識を持たれてしました。北欧ではいまや魚や鶏を使った食事が基本で、牛肉は基本的には選択肢にない特別食の扱いなんです。日本でも子どもたちは小学校でSDGsを学び始めていますし、もう少し世代を経たら世界が変わるかもしれません。しかし食というのは毎日のことですから、いまから社会に訴えかけていきたいと考えています。こうした問題に注目している企業もおられます。
Q.おいしいとか安いだけではなく、地球に優しく料理を作る、という未来像が一つの方向性でしょうか
山肩──人の食行動というものは変わらないものです。例えば糖尿病患者さんのサポートをしている栄養士さんたちと一緒に研究したことがありますが、命の危険があるような患者さんでも食生活はなかなか変えられないのが現実です。おそらく、困るのは自分なんだし好きにしたい、という考え方があるかもしれません。でも自分の食行動が人のためとか、地球の未来に影響するのなら、もしかすると食行動を変えられるかもしれないという期待があります。こういったことを世界規模で考える時代が来ているのかもしれません。
Q.いまやAIによる解析が当たり前になっています。情報技術によって社会はこれからどう変わっていくとお考えでしょう
山肩──確かに解析技術の発展は目覚ましいものがありますが、いまは皆がデータを集めている状態です。食に限っても、未来を語るだけのデータが足りません。いま食べているものやライフスタイルをこう変えたら健康にいいですよと提案するにしても、エビデンスによってサポートされてるわけではなく、理論的にそうであるだろうと言っているに過ぎない。つまり、実際の食行動を長期的に記録したデータがほとんどありません。栄養学の世界で調査をするときはアンケートを取って栄養士さんが分析するのですが、実はあまり正確ではないということが分かっています。
Q.アンケート方式では限界があるということですね
山肩──しかしいまは誰でもスマホを持つようになって、常に入力デバイスを持っています。食やスポーツ、普段の生活も、記録が取れるようになっています。疾病や衰えのような状態までデータが蓄積されてくると、確たるエビデンスが導けるかもしれません。そうなると、人の生活に対してもう少し意思決定に関われるようなサービスができてくるかなと思っています。
Q.いまでもライフログのように自分の記録を取っている方もいます
山肩──今後はポケットにスマホを入れておいて、自分の動作から間接的にデータを収集するといった形が望ましいかもしれません。ただ忘れてはいけないのがプライバシーの問題です。自分の家庭料理の情報を外へ発信する、公開することをとても嫌がる方もいらっしゃいます。そういう考え方があることは常に頭の隅に置いておきたいです。
※インタビュー中は感染症対策のため、マスク着用としております。
Q.先生の研究室に入るとどんなメリットがありますか？
山肩──私の研究室はいま、一般的にイメージされているようなAI、例えば画像認識やテキスト処理といった技術を研究できるところの1つだと思います。また相澤清晴先生や山崎俊彦先生、松井勇佑先生と一緒に研究室を運営しているので、各研究室のメンバーからも新しいことをどんどん紹介してもらえたり、困ったときにたくさんのアドバイスをもらえます。非常にいい環境だと思います（図4）。
図4 相澤・山崎・山肩・松井研の修士・博士修了生たち
Q. では逆に、先生の研究室に入るために持っておいたほうがいいスキルはありますか？
山肩──コンピューターサイエンスや数学といった基礎的な学力は必要です。そして、環境の中でみんなと仲良くできる力ですね。1人きりで進めていても環境のメリットが活かせません。学生も人それぞれですが、いろんな学生と仲良くして、自分から貢献したり、人に助けてもらう関係を築けることが大切だと思います。あと私が求めているという意味では、アプリを作れる能力です。大きくはアプリの中でアルゴリズムを使える状態にする仕事を指しますが、これは本当に好きな方でなければできない。
Q. アプリ開発の難しさとはどのようなものでしょうか
山肩──変化に追いついていく、自分で学んでいくことですね。開発するためのプラットフォームもどんどん変わっていくし、昨日まで動いていたものが今日は動かないとか、いろいろなエラーが頻繁に出るので、自分で調べて解決することが苦にならないことが重要です。必ずしも学術的な評価につながらないこともありますが、情報学専攻の先生方はモノづくりを非常に好意的に捉えてくださっていますので、心配なく取り組める環境であると思います。
Q. 学生さんをエキスパートに育てるために心がけていることはありますか
山肩──私自身のことを考えると、自分の興味のために仕事ができたのは30代半ばぐらいまでだったと思います。私は子供が生まれた直後、子育てに自分のリソースの大半を取られて、学ぶ意欲、成長する意欲が薄れた時期がありました。自分が研究を止めても誰も困らないだろう、何のためにこんな大変なことをしてまで研究を続けているんだろう、と虚無感を抱きました。でも人のために、世界のためにという意識を少しでも持っておくと、その先もモチベーションを保ち続けられる。そういう意識を持っておくといい、ということを学生にもよく伝えています。
Q.山肩先生は社会人の方も教えていらっしゃいますね
山肩──社会人も受講できる「東京大学データサイエンススクール」で講師をしています。若い世代だけでなく、私と同じかもっと上くらいの方にもAIや情報処理技術を学んでいただいて、一緒に何か開発していけたらうれしいですね。いま社会人の世代では、特に文系の方はあまり数学に触れずにこられた方も多いと思いますが、意欲のある方は年齢や分野にかかわらず、大変熱心に学ばれてステップアップされていきます。私の研究室にはこれまで社会人博士の方がいたことはないのですが、実務経験もお持ちだし、問題意識も明確でしょうから、研究にも合っているかもしれないですね。
Q. 山肩先生の研究は楽しみの部分も大きく、リスキリングとしては大変効果的であるように思えます
山肩──料理というのは、スケジューリングタスクなんですね。理想的には、全部の料理が完成する時に、温かいものは温かく、冷たいものは冷たい状態で、しかも全体に掛かる時間が短くなるように並列で処理していくわけですから。そうした料理に必要とされる理論的な考え方、逆算する力のようなものは、データサイエンスと親和性が高いと思います。限られた環境の中で何かを諦めたり、何か新しい工夫をしたらここの部分が短くなる、といったことは誰もが考えていると思いますが、理論的に考える力を誰もが持つようになると、世界がもっと効率よく回るかもしれません。
（取材日：2023年1月31日）
1 コーパス（corpus）：自然言語処理の研究に用いるため、自然言語の文章を構造化し大規模に集積したもの。
2 Recipe1M：マサチューセッツ工科大学、カタルーニャ工科大学、カタールコンピューティング研究所の研究者によるレシピのデータセット。コード、データ、モデルはGitHubなどで公開されている。
Webサイトhttp://pic2recipe.csail.mit.edu
3 FoodLog Athl：「アスリートと管理栄養士がコミュニケーションをとるためのアプリケーション」。アスリート向けと管理栄養士向けで別のアプリになっていて、それぞれ、iOS用はApp Store、Android用はGoogle Play Storeからダウンロードできる。
Webサイトhttp://www.foodlog-athl.org
4 RecipeLog：「家庭の食事を管理する人が，生活を「ちょっと」だけ変えて健康になることを手助けするサービス」。現在はクローズドベータサービス中（メンバーを限定した実験運用中）。
Webサイトhttp://www.foodlog-athl.org/recipe.html
5 山末英嗣：立命館大学 理工学部機械工学科 教授。エネルギー・資源循環工学を専門とする。
Webサイトhttps://www.yamasue-lab.net
6 相澤清晴：東京大学 情報理工学研究科、学際情報学府、工学部電子情報工学科 教授。映像を中心としたメディア処理を専門とする。
7 山崎俊彦：東京大学 大学院情報理工学系研究科 電子情報学専攻 教授。画像情報処理を専門とする。
Copyright © 2019 Graduate School of Information Science and Technology, The University of Tokyo
