Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Sergey Ioffe, Christian Szegedy
2015년 발표된 위 논문을 공부하면서 작성한 공부노트다.
Batch normalization을 공부하는 사람이 있으면 도움이 되길 바란다.
논문에서 알고리즘을 설명하는 부분만 정리했다.
그 이후 부분은 batch normalization이 가지는 이점과 성능개선을 다루는 부분이다.
여기는 그냥 읽어보면 될 것 같다. 이해가 필요한 부분은 아니다.
그리고 내가 잘못이해한 부분이 있는지 검증받고 싶다.
내가 잘못이해한 부분이 있다면, 언제든지 피드백을 주길.
혼자 끙끙대며 논문에 머리를 갈아 넣고 있을 때의 막막함을 잘 안다.
함께 배운것을 나누고 서로 가르치면 혼자 할때보다 좀더 쉽지 않을까.
(이미지는 누르면 커진다)
'이론 > 신경망' 카테고리의 다른 글
| He 초기화 구현 in tensorflow (0) | 2018.09.19 |
|---|---|
| tensorboard 간단 요약 (0) | 2018.09.13 |
| 인공신경망과 학습 (0) | 2018.03.05 |
| 전미분, 편미분, Gradient에 대해 (2) | 2018.02.28 |
| 공부할 때 참고한 자료들 (0) | 2018.02.27 |
