dropout (2) 썸네일형 리스트형 EECS 498-007 / 598-005 Assignment #3-1 드디어 미루고 미뤘던 Assignment # 3이다. 우선 Computational Graph에서 gradient를 계산하는 일종의 공식으로 쓰일 수 있는 각종 게이트부터 외우고 시작하자. 앞으로 과제 진행할 때 매우 매우 유용할 것이다. Assignment # 3는 먼저 Fully-Connected Neural Network와 Dropout을 구현하는 것부터 시작된다. 일단 Linear 레이어에서의 forward와 backward부터 구현하는데 더보기 @staticmethod def forward(x, w, b): """ Computes the forward pass for an linear (fully-connected) layer. The input x has shape (N, d_1, ..., d.. EECS 498-007 / 598-005 Lecture 10 : Training Neural Networks (Part 1) 강의 링크 https://www.youtube.com/watch?v=lGbQlr1Ts7w&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=10 강의 슬라이드 https://web.eecs.umich.edu/~justincj/slides/eecs498/498_FA2019_lecture10.pdf 이번 시간부터는 신경망을 제대로 학습시키기 위해 해야 할 것들에 대해 알아볼 것인데, 이번 시간에는 위 3 가지 사항 중, 첫 번째 것만 강의하고 나머지 2개는 다음 강의에서 강의할 것이다. Activation Function은 신경망에 Non-Linearity를 추가해주는 매우 중요한 역할을 수행하는데 Activation Function으로는 여러 가지를 사용할 수 있다. 먼저 .. 이전 1 다음
