NMT Tutorial

Google NMT Tutorial 정리: https://google.github.io/seq2seq/nmt/

#DeepNLP 20100110 양선희님 Source 발표

A Neural Conversational Model Source 발표 진행

S2S 변천사 정리 RNN -> BiRNN -> Attention RNN Attention (Bahdnau) 설명 Attention (Luong) 설명

GNMT에 대한 설명 AutoEncoder 로 특성을 잡아 낸다.

소스 설명 진행

NayerNormBasicLSTMCell을 설명.

각각의 특성에 대한 정리 Batch Norm Weight Norm Layer Norm https://www.reddit.com/r/MachineLearning/comments/66obrb/d_weight_normalization_vs_layer_normalization_has/

전창욱님 Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks 설명 진행 https://arxiv.org/abs/1506.03099

그래프 관련 토론 진행 https://ratsgo.github.io/natural%20language%20processing/2017/03/13/graphnews/

신성진님 Paper S2S 어떻게 진행 할지 이야기 진행 머신러닝 PDF Download -> 텍스트 추출 -> 전처리 -> 모델링 -> 학습

수학 관련 Site https://www.youtube.com/channel/UCYO_jab_esuFRV4b17AJtAw/playlists

12/7 전동현님

tf-nightly 버젼의 설명: https://github.com/tensorflow/nmt

---

12/13, 김현님

Getting Started

TF 1.0버젼으로 되 있음. 호환은 확인해야함 YAML 방식으로 환경설정이 되 있음

Encoder Reference

Model

Tutorial

기본 데이터를 다운 받되, 시간이 오래 걸리니, Toy 데이터를 받자 Toy Data에서 Train step 숫자를 증가시켜, TF board에서 변화를 확인하자

Python 3 Version 추천

Tutorial의 Training 이후로 설명

---