RMSProp (1) 썸네일형 리스트형 EECS 498-007 / 598-005 Assignment #3-1 드디어 미루고 미뤘던 Assignment # 3이다. 우선 Computational Graph에서 gradient를 계산하는 일종의 공식으로 쓰일 수 있는 각종 게이트부터 외우고 시작하자. 앞으로 과제 진행할 때 매우 매우 유용할 것이다. Assignment # 3는 먼저 Fully-Connected Neural Network와 Dropout을 구현하는 것부터 시작된다. 일단 Linear 레이어에서의 forward와 backward부터 구현하는데 더보기 @staticmethod def forward(x, w, b): """ Computes the forward pass for an linear (fully-connected) layer. The input x has shape (N, d_1, ..., d.. 이전 1 다음
