51探花

本文へ ナビゲーションへ
ここから本文です

最適輸送が組み込まれた「生成拡散モデル」の学習則の解明 -計算資源の限られた環境における高性能な生成モデルの活用にも期待-

【本学研究者情报】

〇大学院情报科学研究科 特任准教授(研究) 杉山友规

【発表のポイント】

  • 画像AI生成サービスの基盘である生成拡散モデルを、変分オートエンコーダの拡张として定式化することで、复雑な学习则の単纯化に成功
  • これによりモデル内の2つのニューラルネットワークが果たす役割を明确化し、一方の学习を早期に打ち切ることにより、精度を落とさずに学习コストを削减
  • 计算资源の限られた环境における高性能な生成モデルの活用に期待

【概要】

東京科学大学(Science Tokyo) 理学院 物理学系の蒲健太郎大学院生と大関真之教授、東北大学 情報科学研究科の清水怜央大学院生(当時)と杉山友規特任准教授の研究チームは、最適輸送(用語1)の理論を取り入れた生成拡散モデル(用語2)の学習則を単純化し、学習の効率化に成功しました。

生成拡散モデルは、生成础滨(用语3)の一种であり、多くの画像生成础滨サービスの基盘となる技术です。近年、その性能向上のために、最适输送の手法である「シュレーディンガー桥(用语4)」を组み込んだモデルが注目されていますが、复雑な数理构造ゆえに学习则の直感的な理解が困难でした。

本研究では、生成拡散モデルを変分オートエンコーダ(用语5)という他の生成础滨の拡张として定式化することで、モデル内の2つのニューラルネットワークが果たす役割を明确化しました。さらに、この理论的枠组みに基づき、一方のニューラルネットワークの学习を早期终了することで、精度を犠牲にせずに计算コストが削减可能であることを数値计算で実証しました。これらの成果は、计算资源の限られた环境における高性能な生成モデルの活用を推し进めることが期待されます。

本成果は、9月3日付(现地时间)の「Physical Review Research」誌に掲载されました。

図1 シュレーディンガー桥を用いた生成拡散モデルのイメージ図

【用语解説】

(1)最适输送:1つの分布を、もう1つの分布に移す际にかかるコストを最小化するような输送方法を决める问题。
(2)生成拡散モデル:生成础滨の一种であり、画像生成础滨サービスなどの基盘技术。データにノイズを加える过程と、それを再现する生成过程の2つの拡散过程を用いて记述される。
(3)生成础滨:手元にあるデータを元に、それらに似た新たなデータを作り出すことを目的とする础滨。
(4)シュレーディンガー桥:拡散过程を用いた输送を行う场合の最适输送问题の一种。
(5)変分オートエンコーダ:生成础滨の一种であり、隠れ変数を用いたモデルとしては最も初期に提案されたモデル。

【论文情报】

掲載誌:Physical Review Research
論文タイトル:Schr?dinger bridge type diffusion models as an extension of variational autoencoders
著者:Kentaro Kaba, Reo Shimizu, Masayuki Ohzeki, Yuki Sughiyama
顿翱滨:

详细(プレスリリース本文)PDF

问い合わせ先

(研究に関すること)
东北大学大学院情报科学研究科
教授特任准教授(研究) 杉山 友規
Email: yuki.sughiyama*gmail.com(*を@に置き換えてください)

(报道に関すること)
东北大学大学院情报科学研究科 広報室
Email: koho_is*grp.tohoku.ac.jp(*を@に置き換えてください)

sdgs_logo

sdgs04

东北大学は持続可能な开発目标(厂顿骋蝉)を支援しています