close

運動記号と単語間の連想を表現するモデルと、単語の並びを表現するモデルを融合することによって、
運動を言語として解釈すること、および言語から運動を連想する情報処理の概略図

（左図 Motion is interpreted as a sentence）

1. 運動パターンデータを統計モデルによって学習したものを運動の記号（たとえば「投げる」に相当する運動の記号）として読んでいる。
2. その運動の記号から単語を確率的に連想するのが「Motion Language Model」と記載しているブロック。
   たとえば、「投げる」運動の記号から「catch」、「ball」、「throw」などが数%の確率で連想される。
3. 連想された単語を並び替えるのが「Natural Language Model」と記載しているブロック。
   このブロックは、ある単語の次にはどのような単語が出現しやすいかをモデル化している。
   すなわち、これを用いると、並べ替えた文がどの程度、文法的に正しいかを評価できる。
4. この２つのブロックを用いることによって、運動記号に関係深い単語で、かつそれらの単語を適切に並べ替えた文章はトータルの確率が高いと評価される。
   この高い評価を得た文章を選ぶことによって、運動を言語として翻訳することができる。

（右図）

1. 「Natural Language Model」(自然言語モデル)によって文章を単語に分割する
   （a player throws->　player、a、throw）
2. 「Motion Language Model」(運動言語モデル)によって、これら3つの単語に最も関係の深い運動の記号を探し出す。
3. これによって、与えられた文章から運動が連想できる。