backpropagation
an archive of posts with this tag
-
Backpropagation Through Time (BPTT) 이해하기
BPTT는 RNN에서 시간적 의존성을 따라 Gradient를 역전파하는 알고리즘이다. 이 글에서는 BPTT의 원리와 계산 방법을 설명한다.
-
Convolution의 역전파: 커널과 입력의 기울기 유도하기
Convolution layer의 커널과 입력 기울기를 chain rule로 유도하고, cross-correlation과 full convolution의 관계 및 커널을 뒤집는 이유를 설명한다.
-
Softmax와 Cross Entropy
softmax의 Jacobian 행렬과 Cross Entropy의 기울기를 유도하고, 둘을 합치면 왜 예측값 빼기 정답으로 무너지는지.