목록인공지능 개념 (32)
Bamboo is coming
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cr1FGV/btspOBOlhvp/ByiV6PLEtn4rWUqqJPamT1/img.png)
calibaration이라고 하는 보정 기법 중 하나 calibration은 눈금, 눈금 재기 이런 뜻인데 calibration curve가 기계공학에서 보정곡선으로 쓰인다고 한다. label smoothing label smoothing은 딥러닝의 신뢰도를 개선하기 위한 모델 보정(model calibration) 기법이다. 일반적으로 multi-class 분류는 over-confidence 자신감 과잉이다. 예측 확률의 결과보다 정확도의 기대값이 더 낮다. d 예를 들어 개와 고양이를 분류하는 모델이 어떤 사진을 보고 고양이일 확률을 70%로 예측한다면 실제로 정답을 맞출 확률이 70%에 가까워야 보정이 잘 이뤄졌다고 할 수 있다. 보통 주황색 막대그래프가 정확도, 파란색 막대그래프가 예측 확률, 위..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cIOryB/btspxqAp0Mz/NuLqcrRkBoALMEPsTqyfj0/img.png)
Scaling 1. Normalization(min-max normalization = scaling normalization) 2. Standardization(z-score normalization) 3. Regularization 정의 입력값의 범위(scale)를 균일하게 맞추어 같은 정도의 범위(중요도)를 가질 수 있게 해주는 것. 오버피팅을 막기 위한 방법 중 하나로 오버피팅의 원인이 학습 데이터와 테스트 데이터 간의 분포 차이일 수 있다. 효과 scale이 큰 feature의 영향이 비대해지는 것을 방지. Local minima에 빠질 위험이 감소되고 최적값에 더 빠르게 도달할 수 있음. (학습 속도 향상) scale이 크면 노이즈가 생성되기 쉬워 overfitting이 될 위험이 높음. 종류..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cjZ8Rh/btsp9qeyzYv/WZ4eADHikZ0X6LuhrH0Zs0/img.png)
Regional Dropout은 CNN 분류기의 성능을 강화시켜왔다.물체의 덜 구별되는 구분에 대해 주목하여 지도하는 방식으로 일반화와 효과적인 객체 지역화 기능을 검증했다. 하지만, 검은 픽셀이나 랜덤 노이즈 픽셀을 training image에 오버레이함으로써 픽셀을 지운다. 이는 정보 손실과 비효율성을 야기한다. 1. Mixup aumentation 2. Cutout aumentaion 3. CutMix augmentation 논문 CutMix : 2019년 ICCV에서 발표된 aumentation .method/ 연세대와 네이버 클로바에서 연구를 했다. Cutmix augmentation은 patch 영역에 비례하여 ground truth label이 섞인 training image 중에서 patc..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/TzM7m/btsp7Ugoqzi/uzk020F7gCSAkFimyBOIxK/img.png)
Confusion Matrix분류구분정답값예측값일치 여부TP(True Positive)진짜 양성관심 범주관심 범주일치 = TrueTN(True Negative)진짜 음성관심 X관심 X일치 = TrueFP(False Positive)가짜 양성관심 X관심 범주불일치 = FalseFN(False Negative)가짜 음성관심 범주관심 X불일치 = False Accuracy(정확도) 정답값과 예측값이 일치한 확률 $Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$ Recall(재현율) 정답이 관심 범주인 것들 중에서 예측값이 관심 범주로 예측한 확률 recall = sensivity = hit rate, 정답의 입장에서 $Recall=\frac{TP}{TP+FN}=\frac{모델 정답}{실제 정답..
https://horizon.kias.re.kr/25133/ Generative AI 의 시대최근 주목 받고 있는 생성 인공지능(Generative AI)의 발전속도는 놀랍도록 빠르다.영상 데이터 뿐만 아니라 텍스트나 오디오 등 다양한 형태의 데이터를 고품질로 생성하는데 사용될 수 있다. 또horizon.kias.re.kr https://horizon.kias.re.kr/15780/ 수학도가 인공지능 연구에 기여하는 방법들어가며 21세기 초는 바야흐로 인공지능Artificial Intelligence 시대라 부를 수 있다. 전산학이나 전자공학뿐만 아니라 자연과학, 의학, 신소재, 생명공학, 사회과학 분야에서 학제간 인공지능 연구 horizon.kias.re.kr https://github.com/mml-..
활성화함수는 입력값을 받아 비선형의 출력값을 낸다. 이는 신경망을 더 여러 겹을 쌓을 수 있게 해준다. 1. Sigmoid (시그모이드 함수) 수식: $ \sigma (x)=\frac{1}{1+e^{−x}}$ 범위: 0과 1 사이 특징: 이진 분류 문제의 출력 계층에서 주로 사용됩니다. 2. Hyperbolic Tangent (하이퍼볼릭 탄젠트 함수) 수식: $tanh(x)=\frac{e^x −e^{−x}}{e^x +e^{−x}}$ 범위: -1과 1 사이 특징: 시그모이드 함수와 비슷하나, 더 넓은 출력 범위를 가집니다. 3. ReLU (Rectified Linear Unit) 수식: $f(x)=max(0,x)$ 범위: 0 이상 특징: 음수를 0으로 만들고, 양수는 그대로 전달합니다. 계산 효율이 좋고..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/Ivr2I/btsrSN7gwjW/Yg2f3On6t47d7FmaZwsbK0/img.png)
1. 손실함수(Loss function)란 손실함수는 정답 \(y\)와 예측값 \( \widehat{y} \)의 오차를 나타내는 함수로, \( j(\lambda) \)라고 주로 표기한다. 목적함수(object function), 비용함수(cost function)라고도 불리는 데 모두 같은 뜻이다. 손실함수는 목적에 따라 회귀, 분류에 사용되는 손실함수로 나뉜다. 2. Regression - continuos value 회귀는 출력 값이 연속적인 범위 내에서 변화한다. 예측된 값은 실수 범위 내의 어떤 값이든 될 수 있으며, 제한이 없다. 2.1. 계산법 L1, L2 loss는 계산 방법에 따라 수식에 차이가 있다. 2.1.1 평균오차(Mean Error) 샘플의 양에 관계없이 샘플의 수로 나누기 때문에..
http://disq.us/t/33x8rir 가중치 초기화 (Weight Initialization)An Ed editionreniew.github.io https://at0z.tistory.com/m/35 09-2. Weight initialization본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. We initialized theat0z.tistory.com
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bcykae/btsro7etiwi/0plRb5OMCpGtPqueejgeRk/img.png)
Regularization 정규화 normalization과 regularization는 모두 오버피팅을 방지하는 공통 목표가 있다. 그러나 두 기법의 차이점은 normalization은 입력 데이터의 범위를 일정하게 조정하는 반면, regularization은 모델의 복잡도를 제한하여 학습 과정에서 과적합을 방지하는 방법을 사용한다는 것이다. Normalization: 입력 데이터의 범위가 다를 경우, 이를 일정한 범위로 조정하여 학습을 돕는다. 이로 인해 모델이 학습을 더 쉽게 하고, 빠르게 수렴할 수 있게 된다. Regularization: 모델의 복잡도가 너무 높으면 오버피팅이 발생할 수 있다. 규제화는 모델의 복잡도를 제한하여 이를 방지한다. 가장 흔한 방법은 가중치의 크기를 제한하는 L1 규제..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bBkF0I/btsrsTUZsmM/5gwKKrtZsMrHwKkijAJdAk/img.png)
1. 정의 Bias 모델을 통해 얻은 예측값과 실제 정답과의 차이 평균, 예측값이 실제 정답값과 얼마나 떨어져 있는 지를 나타냄 Variance 다양한 데이터 셋에 대해 예측값이 얼마나 변할 수 있는 지에 대한 Quantity의 개념. 예측값이 퍼져있는 정도 2. bias와 variance의 관계(Bias and Varaince Trade-Off) bias와 variance는 모델의 복잡도와 관련이 있다. bias가 높으면 underfitting이 되고 variance가 높으면 overfitting이 발생하기 때문에 적당한 수준의 bias와 variance를 만들기 위해 적정한 수준에서 모델의 학습을 종료시켜야 한다. 2.1. 예측값 분포 그림에서 볼 수 있듯이 Low Bias & Low Variance..