deep-learning
an archive of posts with this tag
-
Backpropagation Through Time (BPTT) 이해하기
BPTT는 RNN에서 시간적 의존성을 따라 Gradient를 역전파하는 알고리즘이다. 이 글에서는 BPTT의 원리와 계산 방법을 설명한다.
-
Convolution의 역전파: 커널과 입력의 기울기 유도하기
Convolution layer의 커널과 입력 기울기를 chain rule로 유도하고, cross-correlation과 full convolution의 관계 및 커널을 뒤집는 이유를 설명한다.
-
왜 하필 Cross Entropy인가: BCE에서 KL Divergence까지
분류 문제에 MSE 대신 Cross Entropy를 쓰는 이유를 정보량과 엔트로피에서 출발해 BCE, MLE, KL Divergence까지 하나의 흐름으로 정리.
-
Softmax와 Cross Entropy
softmax의 Jacobian 행렬과 Cross Entropy의 기울기를 유도하고, 둘을 합치면 왜 예측값 빼기 정답으로 무너지는지.