본문 바로가기

분류 전체보기

(49)
EECS 498-007 / 598-005 Lecture 12 : Recurrent Neural Networks 지금까지 강의에서 다룬 신경망 모델들은 단순히 하나의 입력을 받아 하나의 출력을 만들어내는 Feedforward Neural Network에 관해서 배웠다. 지금부터는 sequence, 즉 순서가 있는 시계열 데이터를 다루며 입력과 출력의 크기가 자유로운 Recurrent Neural Network (이하 RNN)에 관해서 배워볼 것이다. 먼저 RNN 모델은 세부적으로 Image Captioning으로 대표되는 'one to many'와 Video Classification으로 대표되는 'many to one', Machine Translation으로 대표되며 입력과 출력의 크기가 다른 'many to many', 마지막으로 Per-frame Video Classification으로 대표되며 입력과 출력..
EECS 498-007 / 598-005 Lecture 11 : Training Neural Networks (Part 2) 대충 1년 만에 다시 포스팅을 시작하게 되었다. 원래 이 정도로 미룰 줄은 몰랐는데 항상 그렇듯 한번 미루니 끝도 없이 미뤄지게 되었다 ㅋ 강의는 예전에 다 듣고 정리도 다 했지만 워낙 오래되어서 그냥 다시 듣고 정리도 다시 해서 포스팅할 계획이다. 그렇다 보니 지금 10강 넘게 남았는데 솔직히 2월 내로 모든 포스팅을 끝마칠 수 있을지는 모르겠지만 어쨌든 이번에는 미루지 않고 끝날 때까지 매주 2회 정도의 포스팅을 목표로 해서 꾸준히 해보고자 한다. . . . . . 강의 유튜브 https://www.youtube.com/watch?v=WUazOtlti0g&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=11 강의 슬라이드 https://web.eecs.umich.ed..
16236 아기 상어 16236번: 아기 상어 N×N 크기의 공간에 물고기 M마리와 아기 상어 1마리가 있다. 공간은 1×1 크기의 정사각형 칸으로 나누어져 있다. 한 칸에는 물고기가 최대 1마리 존재한다. 아기 상어와 물고기는 모두 크기를 가 www.acmicpc.net 아기 상어가 물고기를 먹을 때마다 새롭게 BFS를 수행하면 된다. 조건만 빠뜨리지 않고 처리한다면 무난히 풀 수 있는 문제이다. 더보기 #include #include #include #include #include using namespace std; using mypair = pair; int n; int baby_shark = 2; int space[20][20]; int visited[20][20]; int cnt; int min_dist; mypa..
1005 ACM Craft 1005번: ACM Craft 첫째 줄에는 테스트케이스의 개수 T가 주어진다. 각 테스트 케이스는 다음과 같이 주어진다. 첫째 줄에 건물의 개수 N과 건물간의 건설순서 규칙의 총 개수 K이 주어진다. (건물의 번호는 1번부 www.acmicpc.net DP라기 보다는 위상 정렬에 더 무게를 둔 문제이다. 각 건물의 선행 건물들과 선행 건물의 수를 그 건물에 대응되는 배열의 위치에 저장한 후 큐를 이용하여 건물들을 짓는 것에 조건을 만족하며 소요되는 최소 시간을 계산하는 방식으로 해결하였다. 더보기 더보기 #include #include #include using namespace std; int main(void) { ios_base::sync_with_stdio(false); cin.tie(nullpt..
RNNsearch RNNsearch 모델은 기존의 neural machine translation 시스템들이 보조적인 역할에 국한되었던 것에 반해, attention 개념의 alignment를 통해 기존 모델들과 달리 긴 문장 입력의 경우에도 효과적으로 번역하는 독립적인 시스템을 선보인 모델이다. Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation a..
한국어 - 영어 번역 데이터 만들기 논문 보고 구현하기 카테고리에 있는 RNNsearch 모델을 구현해보려고 하는데 이때 한국어 - 영어 데이터가 필요해서 pytorch를 이용하여 만들어보기로 하였다. 이 포스팅에서 사용된 pytorch는 1.10.0이며 torchtext는 0.11.0 버전이다. 먼저 한국어-영어 번역 데이터는 AI Hub에서 한국어-영어 번역(병렬) 말뭉치 데이터를 이용하기로 하였다. 한국어-영어 번역(병렬) 말뭉치 AI 번역 엔진 개발을 위한 뉴스(80만 장), 정부/지자체 홈페이지, 간행물(10만 문장), 행정 규칙, 자치법규(10만 문장), 한국 문화(10만 문장), 구어체(40만 문장), 대화체(10만 문장)의 학습용 문장을 구 aihub.or.kr AI Hub에서 데이터 사용허가를 받고 다운로드를 하면 다음과 ..
2134 Minimum Swaps to Group All 1's Together II Account Login - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com Weekly Contest 275에 위치한 4점짜리 문제이다. 이 문제는 Medium 난이도답게 어렵게 생각할 필요 없이 직관적으로 두 단계를 거치면 해결할 수 있는 문제이다. 1. 배열에서 '1'의 개수 세기 2. 배열을 순회하며 각 지점에서 1이 연속적으로 위치하려면 얼마나 swap이 필요한지 세기 2번 단계의 경우 단순한 브루트 포스 방식으로 해결하면 시간이 오래 걸릴 수도 있지만 ..
ResNet ResNet은 'Deep Residual Learning for Image Recognition'이라는 논문에서 소개된 모델로 skip connection을 사용하여 2015년 ImageNet 대회에서 1위를 차지한 모델이다. Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as le..

728x90