プレスリリース

学習過程を少数合成データに圧縮する仕組みの理論的解明
～汎用性のある情報の抽出と効率的な再利用～

理化学研究所（理研）脳神経科学研究センター数理脳科学研究チームの木下佑利研修生（東京大学大学院情報理工学系研究科数理情報学専攻博士課程大学院生）、豊泉太郎チームディレクター（東京大学大学院情報理工学系研究科数理情報学専攻連携教授）、東京大学大学院情報理工学系研究科数理情報学専攻博士課程の西川直輝大学院生の共同研究チームは、学習過程の情報を少数のデータに効率よく圧縮し学習の記憶として再生できる仕組みを、理論的に明らかにしました。

本研究成果は、大規模データを用いる人工知能（AI）の学習やその学習に必要なデータの保存・転送のコストを削減する手法の開発や、学習中に得た知識を記憶として圧縮する効率的な方法の理解に貢献すると期待されます。

機械学習では、学習に使った大規模データを少数のデータに圧縮するデータ蒸留が注目されています。今回、共同研究チームは、データ蒸留によって、学習課題の本質である低次元構造が抽出されるメカニズムを理論解析しました。入力は高次元でも予測に本質的な情報は少数の変数に依存する数理モデルに着目することで、学習過程で獲得される課題の本質的な情報がデータ蒸留によって圧縮された合成データに効率よく書き込まれていることを証明しました。また、この合成データを用いて再学習した数理モデルが、元の大規模データで学習した場合と同程度の性能を再現できることを示しました。

本研究は、機械学習分野の主要国際会議「International Conference on Machine Learning 2026（ICML 2026）」に採択され、2026年7月7日に韓国・ソウルで開催された同会議で発表されました。

研究成果についての詳細は【情報理工_プレスリリース_20260708】をご覧下さい。

図：データ蒸留と低次元構造の抽出メカニズム

学会情報

学会名：International Conference on Machine Learning 2026
題　名：Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks
発表者名：Yuri Kinoshita, Naoki Nishikawa, Taro Toyoizumi