Bamboo is coming
label smoothing 본문
calibaration이라고 하는 보정 기법 중 하나
calibration은 눈금, 눈금 재기 이런 뜻인데 calibration curve가 기계공학에서 보정곡선으로 쓰인다고 한다.
label smoothing
label smoothing은 딥러닝의 신뢰도를 개선하기 위한 모델 보정(model calibration) 기법이다.
일반적으로 multi-class 분류는 over-confidence 자신감 과잉이다. 예측 확률의 결과보다 정확도의 기대값이 더 낮다.
d 예를 들어 개와 고양이를 분류하는 모델이 어떤 사진을 보고 고양이일 확률을 70%로 예측한다면 실제로 정답을 맞출 확률이 70%에 가까워야 보정이 잘 이뤄졌다고 할 수 있다. 보통
주황색 막대그래프가 정확도, 파란색 막대그래프가 예측 확률,
위에 나온 신뢰도 다이어그램은 전반적으로 빨간 점선에 못 미치는 구간이 많기 때문에 과잉 확신 양상이 나타나는 모델
=> 신뢰도가 떨어지는 모델
이 Miscalivbration을 해소하기 위해 Label Smoothing 기법이 있음.
calibration이 정답과 예측값이 일치하는 선형 곡선에 근접하게 되면 가장 좋은 calibration curve라고 할 수 있다. sorftmax
확률의 최대값이 그대로 정확도가 되는 경우
one-hot vector는 hard label이라고 불림.
soft label : 라벨이 0~1 사이의 값으로 구성
hard label : one-hot vector로 정답은 1, 나머지는 0으로 구성
라벨 스무딩은 hard label을 soft label로 스무딩하는 기법
결과적으로 label smoothing은 정답이 아닌 클래스 간의 분포를 일정하게 만들어준다.
? 분포라 함은
레이블 스무딩(Label Smoothing)은 딥러닝 분류 작업에서 사용되는 정규화 기법 중 하나입니다. 이 기법은 모델이 훈련 데이터에 과도하게 적합하는 것을 방지하고, 일반화 성능을 향상시키는 데 도움이 됩니다.
레이블 스무딩의 원리
일반적으로 분류 작업에서, 각 샘플의 레이블은 원-핫 인코딩으로 표현됩니다. 예를 들어, 3개의 클래스 중 첫 번째 클래스에 속하는 샘플의 레이블은 [1,0,0]이 됩니다.
레이블 스무딩은 이러한 원-핫 레이블을 완전히 확실한 것에서 약간 덜 확실한 것으로 변환합니다. 즉, 정답 클래스의 레이블은 1에서 약간 작게 되고, 나머지 클래스의 레이블은 0에서 약간 크게 됩니다. 예를 들어, 스무딩 파라미터가 0.1인 경우, 위의 레이블은 [0.9,0.05,0.05]로 변환될 수 있습니다.
레이블 스무딩의 장점
과적합 방지: 모델이 훈련 데이터의 노이즈나 특이 사례에 너무 적합하지 않도록 도와줍니다.
일반화 성능 향상: 레이블 스무딩은 모델이 예측의 확실성을 과대평가하는 경향을 줄여, 새로운 데이터에 대한 성능을 향상시킬 수 있습니다.
로버스트성 증가: 약간의 불확실성을 도입함으로써, 모델이 작은 변화나 노이즈에 대해 더 강인하게 만들 수 있습니다.
사용 방법
레이블 스무딩은 교차 엔트로피 손실 함수와 함께 사용됩니다. 스무딩 파라미터는 하이퍼파라미터로, 검증 세트의 성능을 기반으로 선택할 수 있습니다.
결론
레이블 스무딩은 딥러닝 모델의 훈련에서 사용되는 정규화 기법 중 하나로, 과적합을 방지하고 일반화 성능을 향상시키는 데 도움이 됩니다. 이 기법은 레이블의 확실성을 약간 줄여, 모델이 더 로버스트하고 유연하게 만듭니다.
참고
https://blog.si-analytics.ai/21
라벨 스무딩(Label smoothing), When Does Label Smoothing Help?
$ \newcommand{\infdiv}{D\infdivx} \newcommand{\comz}{\mathcal{Z}} \newcommand{\vec}{\boldsymbol} $ 딥 러닝의 신뢰도를 개선하기 위한 모델 보정(calibration) 기법 소개 최근 다양한 분야에서 각광 받는 딥 러닝은 성능 면
blog.si-analytics.ai
라벨 스무딩(Label smoothing), When Does Label Smoothing Help?
$ \newcommand{\infdiv}{D\infdivx} \newcommand{\comz}{\mathcal{Z}} \newcommand{\vec}{\boldsymbol} $ 딥 러닝의 신뢰도를 개선하기 위한 모델 보정(calibration) 기법 소개 최근 다양한 분야에서 각광 받는 딥 러닝은 성능 면
blog.si-analytics.ai
'인공지능 개념' 카테고리의 다른 글
| weakly supervised (0) | 2023.08.04 |
|---|---|
| 데이터 세트 분리 Data set split (0) | 2023.08.04 |
| 정규화 기법Scaling(Normalization, Standardization, regularization) (0) | 2023.08.01 |
| augmentation method(Mixup, Cutout, CutMix) (1) | 2023.07.31 |
| 모델 평가 지표(ROC, AUC, 혼동 행렬, Accuracy, Recall, precision) (0) | 2023.07.31 |
