組織

専攻

附属センター

関連連携研究機構

関連学部

Computational and statistical complexity analysis of learning problems based on first-order gradient information （1次勾配情報に基づく学習問題の統計的・計算量的解析）

大古 一聡

（指導教員：鈴木 大慈 准教授／ 数理情報第6研究室）

資料PDF（oko.pdf）
研究概要

Part II: 拡散モデルの統計理論 の議論の概要．①平滑性パラメータsで特徴付けられた真の分布からnデータをサンプルし，②スコアマッチング損失(経験誤差版)を最小化するニューラルネットワークを特定のクラスから選び，③これを用いて新たにデータを生成する．④真の分布と生成されたデータの分布の距離(n, s, 及び次元dで評価できる)は統計的下限とほぼ一致する．Kazusato Oko, Shunta Akiyama, and Taiji Suzuki: Diffusion Models are Minimax Optimal Distribution Estimators (ICML 2023).
データ・モデルが大規模化した近年の機械学習では，計算が効率的に行える1次勾配情報のみを用いた学習手法が主流である．本論文では近年台頭した幾つかの新たな問題設定（拡散モデル，連合学習，スパース関数学習）を例に，一見単純な1次勾配情報に基づく手法の，成功の理由と限界を理論的に明らかにした．各問題設定では，それぞれ以下の3点を論じた．(i) 1次勾配情報に基づく手法の統計理論・最適化理論による保証（上界）(ii) (i)で扱う問題クラスの本質的な難しさ（下界）(iii) 実データの持つ構造を追加で仮定した下で，上界・下界とデータ構造の関係
修論の感想

鈴木先生を初め数理情報の先生方に大変感謝しています！

>
ISTyくん

東京大学 THE UNIVERSITY OF TOKYO

Copyright © 2019 　Graduate School of Information Science and Technology, The University of Tokyo