Diffusionモデルを理解する。Diffusion Models: A Comprehensive Survey of Methods and Applicationsを読む

Diffusion

Abstract

  • efficient sampling, improved likelihood estimation, and handling data with special structuresという観点で使いやすい
    • つまり効率的なサンプリング
    • 類似点推定
    • データを特別な形で扱う

Introduction

  • 長らく続いていた画像生成におけるGANの性能を遥かに超えるSoTAを達成した
  • DDPM,SGMs,SDEsという手法を用いて

FOUNDATIONS OF DIFFUSION MODELS

DDPMs

  • DiffsionモデルはDDPMsと呼ばれる手法からなっている
  • A denoising diffusion probabilistic modelと呼ばれる
  • 二つのマルコフ連鎖を使っている。
    • 一つのマルコフ連鎖はForward Processで、データにノイズを加えていく
    • もう一つはReverse Processでノイズからデータを復元する
  • 遷移核は一般的にはこんな感じ。ちなみに遷移書くというのはマルコフ行列の中身のこと
    • 𝑞(x𝑡 | x𝑡−1) = N (x𝑡 ; √︁ 1 − 𝛽𝑡 x𝑡−1, 𝛽𝑡I),正規分布
  • KL Divergenceを用いて計算する

疲れたので今日はここまで