목록분류 전체보기 (163)
Bamboo is coming
https://velog.io/@guide333/logit-%ED%99%95%EB%A5%A0-sigmoid-softmax logit, 확률, sigmoid, softmax 인공신경망에서 사용되었던 activation function(활성화 함수), hidden 노드 바로 뒤에 부착한다.$$sigmoid = \\frac {1}{1+e^{-x}} = \\frac {e^x}{e^x + 1}$$ 출처: 위키피디아인공신경망이 결과로 내놓은 K개의 velog.io https://haje01.github.io/2019/11/19/logit.html#:~:text=%EB%A1%9C%EC%A7%93(logit)%EC%9D%80%20log%20%2B,%ED%81%B0%EC%A7%80%EA%B0%80%20%EA%B2%B0%..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bIgsVc/btsrguPj829/6DAKnL45jf1qRjlaO4xfj1/img.png)
x의 값들의 집합을 f의 정의역(domain), y의 값들의 집합을 f의 치역(range) 다항함수(polynomial function) 다항식으로부터 유도되는 함수 \[f(x)=mx+b\] \[f(x)=ax^2+bx+c\] 유리함수(rational functions) 두 다항함수의 비(ratio)로 표현되는 함수 \[y=f(x)=1/x\] 삼각함수(trigonometric functions) 삼각함수는 각의 크기에 따라 변화하는 삼각비를 나타내는 함수로 일정한 패턴이 반복되는 주기함수이다. \(sinx\)와 \(cosx\)의 주기는 \(2pie\)이고 y가 -1부터 1까지의 값을 취할 수 있다. \(tanx\)의 주기는 \(pie\)이고, y로 모든 실수 값을 취할 수 있다.(무한대) 지수함수(expo..
딥러닝(Deep Learning) 에서 불확실성(Uncertainty)은 왜 중요할까요? 인공지능 세계에서 가장 Hot Topic인 자율주행차를 예로 들면, 중앙선 반대편의 차가 갑자기 돌진해 온다는 상황이 생길 수도 있고, 인간이 갑자기 차 앞에 나타날 수도 있습니다. 이런 운전 중에 생길 수 있는 다양한 불확실성을 우리는 모든 경우의 수를 만들어 제어할 수가 없습니다. 따라서 훈련단계에서 불확실성을 높혀서 다양한 경우에 대비하는 방법들을 연구해야 합니다. 이러한 방법론 중에 하나가 Bayesian Neural Network 입니다. 이번 강의를 통해서 확률의 기본 개념을 다시 한번 다지고, Bayesian Neural Network 과 관련된 몇 가지 논문을 최성준 박사님과 함께 공부할 수 있습니다...
model: VGG16 Optimizer: SGD loss function: CrossEntropyLoss training, validation, test sets rate 5: 2.5: 2.5 fine-tuning Augmentation: CutMix aumentation XAI: Grad-CAM Accuracy, AUC
In PyTorch, both .cuda() and .to(device) are used to move tensors or models to the GPU, but there are some differences in their functionality: .cuda(): This method is specific to moving a tensor or model to the GPU (CUDA device). You can optionally specify a GPU device index (e.g., .cuda(0) to move to the first GPU). If you call .cuda() on a tensor or model that's already on the GPU, it will cre..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/qadM4/btsqYRWZmFi/G1EhrIp8svSFKyrPktw8T1/img.png)
colab에 옮겨적었는데 지우기 아까워서 킵함. 내용이 잘 돌아가는지 여부는 확인 안됨 Guided backpropagation은 기존 backpropagation-ReLu의 입력값이 음수면 0으로 초기화되는 동작에 가중치 역시 음수면 0으로 초기화되는 동작을 추가했다. **결국, Guided backpropagation은 입력값, 가중치값이 음수면 0으로 초기화시켜 출력에 긍정적인 영향을 끼치는 입력 이미지에 초점을 맞춰 중요한 기능을 시각적으로 식별할 수 있다.** Forward pass에서는, input image에서 양수인 부분들은 그대로 출력하고, 음수인 부분은 0으로 처리합니다.ReLU와 동일하다고 할 수 있죠. Backward pass에서, 우리가 살펴볼 내용은 가장 아래쪽에 있는 Guide..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/TZbmc/btsqYFh2Pos/MtD5IKazmKyne95mUp2gYK/img.png)
# 정상 코드 import torch import torch.nn as nn import torch.nn.functional as F from google.colab.patches import cv2_imshow class GradCam(nn.Module): def __init__(self, model, module, layer): super().__init__() self.model = model self.module = module self.layer = layer self.register_hooks() def register_hooks(self): for modue_name, module in self.model._modules.items(): if modue_name == self.module: ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/RXwXH/btsqLlSYNdr/5dJc1tg2nIOTsOTQlBuJP0/img.png)
for name, child in model.named_children(): for param in child.parameters(): print(name, param) layer1의 weight, bias를 tensor 형식으로 출력
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/U2KrP/btsqPYWIUCl/7rNskvnxqRatN3fEphLzdK/img.png)
GBP(Guided Backpropagation) GBP(Guided Backpropagation)는 심층 신경망을 위한 시각화 기술입니다. 목표는 모델의 특정 출력으로 이어지는 입력 이미지의 중요한 기능을 식별하는 것입니다. 특히 CNN(Convolutional Neural Networks)의 내부 작동에 대한 더 나은 이해를 제공하는 데 사용됩니다. Guided Backpropagation을 이해하기 위해 먼저 일반 backpropagation을 이해합시다. 일반 역전파 (Backpropagation) 역전파는 네트워크의 각 가중치에 대한 손실 함수의 기울기를 계산하는 데 사용되는 방법입니다. 여기에는 두 단계가 포함됩니다. Forward Pass: 주어진 입력에 대한 네트워크의 출력을 계산합니다. ..
https://medium.com/@msmapark2/vgg16-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-very-deep-convolutional-networks-for-large-scale-image-recognition-6f748235242a VGG16 논문 리뷰 — Very Deep Convolutional Networks for Large-Scale Image Recognition VGG-16 모델은 ImageNet Challenge에서 Top-5 테스트 정확도를 92.7% 달성하면서 2014년 컴퓨터 비전을 위한 딥러닝 관련 대표적 연구 중 하나로 자리매김하였다. medium.com https://pytorch.org/vision/main/models/generate..