Diffusion Model(Denoising Diffusion Probabilistic Models, DDPM), 디퓨전 모델

목차

 

1. 개요

노이즈가 왜 필요한가?

---

 

 

 

1. Denoising Diffusion Probabilistic Models, DDPM 논문 (2020)

1-1.Denoising Diffusion Probabilistic Models, DDPM 깃허브

3. Latent Diffusion

4. Stable Diffusion

 

- Denoising Score Matching: A New Framework for Generative Models 논문 (2019)

---

 

1. 개요

diffusion 개념에 대해 거슬러 올라가보면 물리학의 확산 현상을 마주하게 된다. 유체를 이루는 분자나 입자들이 서로 상호작용함에 따라 확산이 이루어지는 현상과 이를 통계적으로 다루기 위한 개념인 브라운 운동이 있다. 

1970년에 나온 Brownian motion in spinodal decomposition 논문이 인용 1200회를 달성하며 현재 diffusion 모델에 기초가 되는 개념이다. 

DDPM의 Abstract에서도 언급되는 Langevin dynamics은 브라운 운동을 확률적 프로세스로 나타내는 미분 방정식이다. 

그리고 자주 들었던 확률밀도함수(PDF)는 브라운 운동에서 유체를 이루는 입자가 주어진 시간동안 특정한 거리만큼 이동할 확률을 상정하는 것이다. 여기서 입자의 위치는 연속적인 값을 가지기 때문에 확률밀도함수를 다뤄야한다. 

diffusion과 확률밀도함수가 이렇게 관련이 있다니.. 

브라운 운동 관련 글 읽어보기~! 

 

물리학 상식 : 유체의 확산과 브라운 운동(https://swstar.tistory.com/266)

Diffusion Model[2] - NCSN (https://ivdevlog.tistory.com/8)
생성 모델의 새로운 흐름, diffusion model에 관하여(https://blog.est.ai/2022/02/%EC%83%9D%EC%84%B1-%EB%AA%A8%EB%8D%B8%EC%9D%98-%EC%83%88%EB%A1%9C%EC%9A%B4-%ED%9D%90%EB%A6%84-%ED%99%95%EC%82%B0-%EB%AA%A8%EB%8D%B8diffusion-model%EC%97%90-%EA%B4%80%ED%95%98%EC%97%AC/)

Likelihood Based Models (확률 기반 모델)
확률 기반 모델은 주어진 데이터셋에 대한 확률 분포를 직접 모델링하는 방식이야. 이 방식은 모델이 데이터를 얼마나 잘 표현하는지를 측정하는데 사용되는 likelihood를 최대화하는 것을 목표로 해. 예시로는 일반적인 확률 분포 (가우시안 분포 등)를 사용하는 모델이나 딥 러닝(deep learning) 모델이 있어.

예시:
Gaussian Mixture Models (가우시안 혼합 모델): 여러 개의 가우시안 분포를 결합하여 복잡한 데이터 분포를 모델링하는 방법.
Variational Autoencoders (변분 오토인코더): 데이터의 잠재 변수(latent variable) 분포를 모델링하는 딥 러닝 방법.

 

Energy Based Models (에너지 기반 모델)
에너지 기반 모델은 데이터의 에너지 함수(energy function)를 정의하고, 이 함수를 최소화하는 방향으로 데이터의 분포를 학습하는 방법이야. 이 모델은 데이터 포인트에 에너지 값을 할당하며, '올바른' 데이터 포인트는 낮은 에너지 값을, '잘못된' 데이터 포인트는 높은 에너지 값을 가지게 돼.

예시:
Restricted Boltzmann Machines (제한된 볼츠만 머신): 노드들 간의 연결을 통해 데이터의 에너지 함수를 모델링하는 방법.
Generative Adversarial Networks (GANs, 생성적 적대 신경망): generator가 낮은 에너지 값을 가지는 '올바른' 샘플을 생성하고, discriminator가 이를 진짜와 가짜로 구분하도록 학습하는 방법.

 

 

Score Based Models (점수 기반 모델)

 

예시: NCSN

 

이렇게 각각의 모델은 서로 다른 방법으로 데이터를 모델링하며, 특정 작업이나 데이터 유형에 더 적합할 수 있어. 

 

Denoising Score Matching: A New Framework for Generative Models

이 논문에서는 generative model의 새로운 프레임워크를 제시하며, 주된 아이디어는 데이터에 작은 노이즈(noise)를 추가하고, 그 노이즈를 제거하는 과정을 모델링하는 것이에요. 이를 통해, 원본 데이터 분포를 추정하려는 시도를 합니다. 이 방법은 기존의 접근 방식과는 다르게, likelihood를 직접 모델링하지 않아도 좋은 결과를 얻을 수 있는 것을 보여줘요.

Denoising Diffusion Probabilistic Models

이 후속 논문은 위에서 언급한 "Denoising Score Matching" 프레임워크를 기반으로 하며, diffusion 프로세스를 이용하여 데이터의 복잡한 분포를 모델링하는 방법을 더욱 발전시킵니다. 여기서는 diffusion 프로세스를 통해 데이터에 노이즈를 주입하고, 시간이 지남에 따라 그 노이즈를 점차 제거하는 방식으로 generative model을 학습시킵니다. 이러한 접근 방식은 고품질의 샘플을 생성할 수 있게 해줍니다.

요약하자면, 초기 논문은 노이즈를 추가하고 제거하는 과정을 통해 데이터 분포를 모델링하는 새로운 방법을 제시했으며, 후속 논문은 이러한 방법론을 diffusion 프로세스를 통해 더욱 확장하고 발전시킨 형태로 볼 수 있어요.

 

Abstract

디퓨전 확률 모델을 이용한  고품질의 합성 이미지.  불균형 열역학으로부터 영감을 받은 잠재변수 모델의 클래스.

디퓨전 확률 모델과 랑벨 역학을 이용한 노이즈 제거 점수 매칭에 따라 설계된 weighted variational bound으로 학습하여 최고의 결과를 얻었다. 그리고 우리 모델은 자연적으로 자동회귀 디코딩의 생성으로 설명되는 점진적 느슨한 감압 구조를 사용했다. 

 

노이즈가 왜 필요한가? 

뭉쳐있는 input_0에서 정규분포에 따라 균등하게 분포된 input_t를 얻는다.  t에 따라 노이즈가 추가될 때 이를 reverse process로 처리하면 원래 뭉쳐있는 이미지를 얻을 수 있다.  매 시간마다 분자의 움직임을 계산하면 reverse process가 가능해진다.

 

 

 

 

 

Diffusion Model 설명 – 기초부터 응용까지 (https://ffighting.net/deep-learning-paper-review/diffusion-model/diffusion-model-basic/)

특허의 관점에서 보는 디퓨전 모델 (https://piip.co.kr/ko/blog/The%20Diffusion%20Model%20from%20a%20Patent%20Perspective)

[concept] 디퓨전모델 (https://hyoseok-personality.tistory.com/entry/Concept-Diffusion-Models-with-DDPM-DDIM)