본문 바로가기

pytorch

(4)
RNNsearch RNNsearch 모델은 기존의 neural machine translation 시스템들이 보조적인 역할에 국한되었던 것에 반해, attention 개념의 alignment를 통해 기존 모델들과 달리 긴 문장 입력의 경우에도 효과적으로 번역하는 독립적인 시스템을 선보인 모델이다. Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation a..
ResNet ResNet은 'Deep Residual Learning for Image Recognition'이라는 논문에서 소개된 모델로 skip connection을 사용하여 2015년 ImageNet 대회에서 1위를 차지한 모델이다. Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as le..
EECS 498-007 / 598-005 Lecture 9 : Hardware and Software 이번 시간에는 딥러닝에서 쓰이는 하드웨어 - 소프트웨어 순으로 알아볼 것인데, 딥러닝에서의 연산은 CPU와 GPU를 주로 사용한다. 현재 대부분의 GPU는 NVIDIA와 AMD의 GPU가 쓰이고 있으며, 그중에서 딥러닝 분야에서는 NVIDIA GPU만이 딥러닝 관련 소프트웨어를 폭넓게 지원하고 있어 딥러닝에서의 GPU는 NVIDIA GPU를 뜻한다고 보면 된다. 위 슬라이드는 CPU와 GPU의 달러 당 GigaFLOPs를 나타낸 것인데, CPU와 GPU 모두 우상향 하지만 특히 GPU의 경우 2012년부터 급격한 증가를 보여주는 데, 이 때문에 AlexNet 이후부터 모델의 크기가 급격히 커질 수 있었다. CPU의 경우 적지만 강력한 코어를 가지고 있고, GPU의 경우 1개만 놓고 보면 성능이 좋다 하기..
EECS 498-007 / 598-005 Assignment #1 Pytorch 과제의 파이토치 튜토리얼 부분은 튜토리얼 답게 딱히 설명할 부분은 없어서 코드만 첨부하겠다. 더보기 import torch def hello(): """ This is a sample function that we will try to import and run to ensure that our environment is correctly set up on Google Colab. """ print('Hello from pytorch101.py!') def create_sample_tensor(): """ Return a torch Tensor of shape (3, 2) which is filled with zeros, except for element (0, 1) which is set..

728x90