Image and video upscaling from local self-examples(2011.04) (1)

Image and video upscaling from local self-examples (2011) ACM Trans, 473회 인용, 11p

👻 본 논문은 SR survey 논문에 나온 패치 기반 SR 논문입니다.

🎈목차

0. ABSTRACT
1. INTRO
 - 문제점
 - 기존연구
 - 제안
2. PREVIOUS WORK
3. UPSCALING SCHEME
4. CONCLUSION

GPT, 이 논문의 방법론적 접근은 기존의 이미지 업스케일링 방법들과 비교하여 몇 가지 독창적인 요소를 포함합니다. 주요 내용을 요약하면 다음과 같습니다:

1.  지역적 자기 유사성(Local Self-Similarity) : 자연 이미지의 지역적 자기 유사성에 기반하여, 외부 예시 데이터베이스를 사용하지 않고도 고해상도 이미지를 생성할 수 있는 방법을 제시합니다. 이는 이미지 내의 작은 영역에서만 예시 패치를 검색함으로써, 검색 시간을 크게 단축시키고 효율성을 높입니다.

2.  다단계 업스케일링(Multi-Step Upscaling) : 이미지를 여러 단계에 걸쳐 점진적으로 확대함으로써, 작은 확대 인자에서 더 좋은 성능을 보이는 지역적 자기 유사성을 최대한 활용합니다. 이는 특히 소규모 확대 인자에서 유용하며, 이 방법을 통해 고품질의 고해상도 이미지를 생성할 수 있습니다.

3.  비디오 업스케일링(Video Upscaling) : 제안된 알고리즘은 이미지뿐만 아니라 비디오 업스케일링에도 적용될 수 있으며, 특별한 수정 없이 동일한 방법론을 비디오 시퀀스에 적용할 수 있습니다. 이는 저해상도 비디오를 고해상도로 실시간 업스케일링하는 데 매우 효율적입니다.

4.  필터 설계(Filter Design) : 업스케일링과 다운스케일링 과정에서 사용되는 필터는 이미지의 특성을 잘 반영할 수 있도록 설계되었습니다. 특히, 선형 함수를 정확히 재현하는 것을 목표로 하며, 이를 통해 고해상도 이미지에서의 선형성을 유지하려고 합니다. 또한, 이미지의 저주파수 성분을 잘 보존하면서, 이미지 획득 과정에서 발생하는 공간적 균일 스케일링을 모델링하는 것이 중요한 설계 요소로 강조됩니다.

5.  비선형적 조건(Nonlinear Conditions) : 업스케일링과 다운스케일링 필터 설계에서는 비오선형적 조건을 고려하여, 두 연산자가 서로의 역연산자로 작동하도록 합니다. 이는 고품질의 이미지 재구성을 위한 중요한 요소 중 하나입니다 .

이러한 접근 방식은 기존 방법들과 비교하여 효율성과 품질 면에서 뛰어난 성능을 보이며, 특히 소규모 확대 인자나 비디오 업스케일링에서 그 장점이 두드러집니다. 본 연구는 이미지 및 비디오 업스케일링 분야에서 중요한 기여를 하며, 높은 품질의 결과물을 실시간으로 생성할 수 있는 새로운 가능성을 제시합니다.

0. ABSTRACT

•  example 기반의 SR을 확장시키는 연구를 제안. 
• 기존의 외부 예시 데이터베이스에 의존하거나 전체 인풋을 예시 데이터로 사용하는 것이 아니라 자연 이미지에 존재하는  local self-similarity assumption을 따르는 연구를 제안한다.
• local self-similarity assumption이란, 이미지 내의 작은 영역들이 서로 비슷한 패턴을 보인다는 가정이다. 이미지를 적당히 축소했을 때 해상도가 낮아지면서 패턴의 유사성을 발견하기가 더 쉬워진다. 포괄적으로 볼 수 있기 때문에 유사한 특징을 비교하기에 용이하다.
• 이 가정을 따라서 이미지를 적게 축소했을 때 비슷한 패치를 찾는 시간을 상당히 줄일 수 있다고 하며, 대부분의 이미지 처리에서 품질저하 없이 효율성을 높일 수 있다고 주장한다.
• 수행, 연구팀이 업스케일링 과정을 모델링한 원리에 기반하여 nondyadic filter banks에서 유도된 small scalings를 이용해 작은 스케일링을 구현한다.
• 새로운 필터는 거의 biorthogonal(양직교)에 가까워 서로 직교하는 성질을 가지면서도 역변환시 원래의 신호나 이미지로 잘 복원될 수 있고 복잡한 계산과정(역투영 방정식)을 거치지 않고도 우수한 결과를 얻을 수 있다.
• 역투영, LR-HR 간의 이미지를 수학적으로 모델링하여 이를 다시 역으로 해결하여 원본 이미지를 구성하는 방식

1. INTRO

 -  문제점

• 카메라는 고성능 이미지를 생성하지만 이미지 존재하는 이미지, 감시 시스템, 저화질 센서 등은 저성능 이미지이다. 
• upscaling -> unknown pixel을 예측하는 것이 필요하다.
• 자연은 물체의 선같이 강력한 불연속성을 가짐, 분석적 매끄러움이 자연 이미지의 복잡성과 불연속성을 반영하지 않는다.
• ringing, staircasing, jaggies, blurring 효과 등

 - 기존연구

• Example-based super-resolution (2002), Freeman W.T, 3541회 인용 
  •  markov random model로 고주파 영역을 예측하는 보편적인 Universal set
  • 장점, 디테일 추가 + 선명한선
  • 단점, approximate nearest patch search에 에러, 관련 예제 부족으로 인한 노이즈, 불규칙성 발생
• Solving the inverse problem of image zooming using self-examples (2007), Ebrahimi
  • 압축 이미지의 선형 연구 기반으로 input을 source로 재활용하는 것을 제안, Universal dataset에 비해 적은 양의 이미지를 사용함에도 더 연관있는 patch를 포함

 - 제안

• 이미지 내의 작은 패치들이 스케일을 조금만 조정해도 자기 자신과 유사하다는 점(local self-similarity assumption)을 이용해 외부 데이터셋에 의존하지 않고 단일 이미지만으로도 해상도를 향상시키는 방식 제안
  • single image upscaling - 단일 이미지의 해상도를 높이는 기술 이미지 내부 정보를 활용하여 특징과 패턴을 학습하고 이를 통해 해상도 향상
  • example-based image upscaling - 외부 데이터셋(LR-HR 쌍)을 학습하여 저해상도 이미지를 고해상도로 변환하는 모델 훈련
• self-examples 논문에서 더 나아가서 극도로 국소화된(Localized) 영역에서 example patch를 검색한다. 
• Localized search를 다른 변형 패치 검색과 비교한 결과 계산 시간과 매칭 오류 측면에서 더 나은 성능을 보였음.
• 원하는 배율 크기를 위해 small scaling factor을 여러단계로 수행했고  N+1:N 업샘플링 및 다운샘플링 비율을 위해 도출한 nondyadic filter banks을 사용해 구현
• 필터가 만족해야하는 원칙 중에는 누락된 고주파 대역(세부사항)이 예측되기 전에 초기 단계에서 업샘플링된 이미지가 입력이미지와 일치하도록 필터가 거의 biorthogonal 해야 한다.(= 업샘플링-다운샘플링 변환이 가능하도록 이미지가 일관성을 가질 수 있어야 한다)
• 이렇게 하면 예제 기반 학습단계에서 필요한 예측의 양을 줄여 입력데이터를 더 잘 활용할 수 있다. 이전 방법에서는 역투영 방정식을 풀어서 요구사항을 충족했지만 새로운 filter bank에서는 일관성과 효율적인 계산 능력을 달성한다.
• state-of-the art methods와 비교해서 고퀄리티를 달성한다는 것을 입증, 알고리즘의 수정 없이 비디오에도 적용하는 것을 보여줄 예정.
• localized searches와 explicit filter computations(필터 계산 직접 수행)의 효율적인 구현

 

2. PREVIOUS WORK

• 이미지에 따른 보간 가중치
  • new edge-directed interpolation(2001) Li et al, 2910회 인용 - interpolation weight -> local edge orientations(지역적 에지 방향성)
  • Image Interpolation by Pixel-Level Data-Dependent Triangulation(2004), su, 186회 인용 - 4개의 가까운 픽셀 중 3개를 골라 선형보간에 사용.
  • -> 이 결과들로 ringing effect를 감소시킬 수 있었고 더 날카로운 경계선을 얻을 수 있었음
• Nonquadratic smoothness 기능으로 다른 타입의 비선형 이미지 정규화 산출
  • Image up-sampling using total-variation regularization with a new observation model(2005), Aly and Dubois, 427회 인용- 총 변동 함수를 최소화하는 방식으로 이미지를 확대
  • Fast image/video upsampling (2008), Shan, 400회 인용 - 다운스케일링 할때 인풋이미지와 아웃풋 이미지를 동일하게 유지할 수 있도록 하는 피드백 컨트롤 프레임워크를  사용하여 비슷한 메트릭을 최소화 
• 자연 이미지 통게에 영향을 받은 최근 연구 -> random markov field model을 업스케일된 이미지의 공간의 확률 밀도를 정의하기 위해 사용
• 이러한 접근법으로는 예제 기반 모델과 분석적 이미지 모델링으로 나뉜다.
• Example-based image enlargement
  • Learning Low-Level Vision(2000), 2305회 인용, 8p
  • example-based super-resolution(2002), 3005회 인용, 10p
  • 이러한 모델들은 저주파 대역(부드러운 버전)과 나머지 대역으로 분해한 예제 패치 데이터베이스에 의존한다. 
  • 인풋 이미지는 분석적 보간법을 통해 해상도를 향상시키고 사라진 고주파 대역은 예제 패치를 통해 예측한다.
  • 이 매칭은 저주파로 구성된 예제 패치를 따라 수행된다.
  • 이 접근은 객체의 가장자리와 섬세한 질감이 있는 영역 모두에서의 그럴듯한 세부 디테일을 만들어낼 수 있다.
  • 그러나 데이터베이스 내에 관련 에제가 부족한 경우, 곡선 가장자리를 따라 불규칙성을 보인다.
  • 더 큰 데이터베이스를 사용할 경우 nearest-neighbor search에서 비교가 추가되기 때문에 더 많은 시간이 걸린다.
    • 보통 큰 데이터셋에서 효율성을 높이기 위해 approximate nearest-neighbor search가 주로 사용되지만 정확도에는 한계가 있다. 근사적인 방법으로 인해 실제로 정확도가 떨어지는 결과를 산출할 수도 있다. 
• Fractal nature
  • fractal compression 구조를 이용한 decoing 보간법 -> block artifacts를 겪지만 overlapping range block으로 줄일 수 있음
  • self-similarity small patch를 이용해 example patch 방식 등장
    • Solving the inverse problem of image zooming using self-examples (2007), Ebrahimi
  • Image super-resolution based on local self similarity(2008), suetake et al , 고주파 대역을 추정하기 위한 예제 코드북 (Example-based super-resolution (2002), Freeman W.T, 3541회 인용)와 유사한 방식)
• parametric image model(=분석적 이미지 모델링) 
  • Image upsampling via imposed edge statistics(2007), Fattal, ACM 입력에서 추출한 edge descriptor(edge 정보)와 더 높은 해상도에서의 기울기 사이 관계를 모델링
  • Image super-resolution using gradient profile prior(2008), sun, IEEE 은 재구성된 edge profile(이미지 intensity 변화를 나타내는 그래프나 데이터)을 위한 분석적인 prior을 사용
  • 장점, example-based의 모델보다 빠르고 눈에 띄는 노이즈 없이 날카로운 에지를 재현할 수 있다.
  • 단점, color plateau를 분리하는 일반적인 엣지로 구성되어 있기 때문에 다소 비현실적으로 보인다.
  • Super-Resolution from a single image(2009), glasner et al, IEEE  다중프레임과 예제 기반 초해상도 기술을 통합하여 single image 방식 도출 반복되는 패턴과 구조를 활용한 self-similarity로 서브픽셀 수준의 오프셋 차이를 이용해 세부정보와 정밀도를 이미지에 추가.
  •  

 

참고

---

• https://hwiyong.tistory.com/m/322
  https://velog.io/@baeyuna97/Feature-engineering이란
• https://hwiyong.tistory.com/m/399
• Image and video upscaling from local self-examples, 2011
• artifacts 종류
• ㄹ
• ㄹ
• ㄹ
• ㄹ
• ㄹ
• ㄹ
•  
•