Deep Image Prior

https://aistudy9314.tistory.com/m/48

[논문리뷰] Deep Image Prior(2)

데이터셋에서 학습시킨 노이즈와의 loss를 구하는 것이 아니라 깨끗한 이미지와 random 노이즈와의 loss를 구하기 때문에 특정이미지(깨끗한 이미지)의 특징을 잡아내는 용도로 사용한다.
prior은 여기서 사전학습된 지식으로 생각할 수 있다.

deep image prior는 데이터셋에서의 노이즈를 측정하지 않았기 때문에 noise 자체에서 자유로운 denoising을 할 수 있다고 주장한다.

Deep Image Prior (DIP)를 생성형 네트워크의 일종으로 생각하는 것은 부분적으로 맞습니다. DIP는 특정한 입력(예: 무작위 노이즈)으로부터 이미지를 생성하는 방식으로 작동합니다. 이러한 점에서, DIP는 생성 모델의 일부 특성을 가지고 있습니다. 그러나 전통적인 생성형 네트워크, 예를 들어 Generative Adversarial Networks (GANs)나 Variational Autoencoders (VAEs)와는 다른 중요한 차이점이 있습니다:

1. **목적의 차이:** 전통적인 생성형 네트워크는 보통 새로운 데이터 샘플을 생성하는 데 중점을 둡니다. 예를 들어, GANs는 실제와 유사한 새로운 이미지를 생성할 수 있습니다. 반면, DIP는 주로 이미지 복원과 같은 특정 작업에 초점을 맞추고 있으며, 이미 주어진 손상된 이미지를 복원하는 데 사용됩니다.

2. **훈련 데이터의 차이:** 전통적인 생성형 네트워크는 대량의 훈련 데이터를 필요로 합니다. 이와 달리, DIP는 특정 이미지에 대해서만 훈련되며, 별도의 대규모 훈련 데이터 세트가 필요하지 않습니다.

3. **훈련 방식의 차이:** 생성형 네트워크는 데이터 분포를 학습하여 새로운 샘플을 생성합니다. DIP는 신경망의 구조 자체가 이미지의 저수준 통계를 모델링할 수 있다는 가정 하에, 구체적인 손상된 이미지를 복원하기 위해 네트워크를 훈련시킵니다.

결론적으로, DIP는 생성형 네트워크의 몇 가지 특성을 가지고 있지만, 그 목적과 사용 방법에서 전통적인 생성형 네트워크와는 구별됩니다. DIP는 주로 이미지 복원과 같은 특정 작업에 특화된, 특정 이미지에 대한 훈련을 통해 작동하는 모델입니다.