2026
an archive of posts from this year
-
Backpropagation Through Time (BPTT) 이해하기
BPTT는 RNN에서 시간적 의존성을 따라 Gradient를 역전파하는 알고리즘이다. 이 글에서는 BPTT의 원리와 계산 방법을 설명한다.
-
Convolution의 역전파: 커널과 입력의 기울기 유도하기
Convolution layer의 커널과 입력 기울기를 chain rule로 유도하고, cross-correlation과 full convolution의 관계 및 커널을 뒤집는 이유를 설명한다.
-
왜 하필 Cross Entropy인가: BCE에서 KL Divergence까지
분류 문제에 MSE 대신 Cross Entropy를 쓰는 이유를 정보량과 엔트로피에서 출발해 BCE, MLE, KL Divergence까지 하나의 흐름으로 정리.
-
ROUGE
Recall-Oriented Understudy for Gisting Evaluation
-
덕 타이핑, 그리고 파이썬이 타입을 다루는 방식
덕 타이핑이란 무엇인지, ABC와 Protocol이 덕 타이핑에 어떤 영향을 미치는지, 그리고 타입 힌트가 덕 타이핑과 어떻게 공존하는지에 대한 설명.