11주라는 기간이 길지 않은 기간이라 논문을 4개를 선정했습니다.
* Transformer: 가장 기본이 되는 모델입니다. NLP를 하시는 분이라면 꼭 봐야하고 깊게 이해할 필요가 있다고 생각됩니다.
* GPT: Transformer Decoder를 사용한 모델입니다. 비교적 구현이 쉽고 모델 사이즈를 줄여도 안정적인 성능을 내는 모델입니다.
* BERT: Transformer Encoder를 사용한 모델입니다. BERT는 현재 NLP의 표준모델이라고 봐도 무방합니다. BERT는 발표 된지 1년이 지난 현재 까지도 다양한 시도를 통해 개선되고 발전되고 있는 모델입니다.
* T5: Transformer Encoder/Decoder를 사용한 모델입니다. Text to Text라는 시도를 통해 NLP 분야의 새로운 방향을 제시한 모델 이라고 볼 수 있습니다. 현재 SOTA 논문입니다.
NLP 논문구현 (Transformer, GPT, BERT, T5)
진행일시
매주 (2시간)
모집현황

1.000000명 신청가능

진행장소
캠퍼스
Untitled-2 학습대상

* NLP 논문을 직접 구현해 봄으로써 더 깊이있게 이해 하기 원하시는 분
* 새로운 NLP 모델을 제시하고 논문을 써 보고자 하는 생각이 있으신 분

Untitled-2 선수지식

개발이 포함된 과정이라 기본적인 개발 능력이 있고 끝까지 함께 하실 수 있는 분들과 함께 했으면 합니다.
* Python, Pytorch 활용이 가능 하신 분
* Word Embedding에 대한 기본적인 이해가 있으신 분 (예, Word2Vec, Festtext)
* CNN, RNN 정도의 모델을 개발할 수 있는 능력이 있으신 분

Untitled-2 과목난이도

쉬움 (1단계) ~ 어려움(5단계)

학습목표

* Transformer, GPT, BERT, T5등에 대한 깊은 이해
* 이후 새로운 논문이 발표 되었을 때 논문을 보고 개발 할 수 있는 능력 습득
* NLP 모델의 새로운 개선 방향을 제안 할 수 있는 능력 습득

Untitled-2 학습 및 참고자료

논문:
* Transformer: https://arxiv.org/abs/1706.03762
* GPT:  https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
* BERT: https://arxiv.org/abs/1810.04805
* T5: https://arxiv.org/abs/1910.10683

소스코드:
* https://github.com/paul-hyun/transformer-evolution

Untitled-2 운영방식

* 참석자 전원이 사전에 준비 해 오는 것을 원칙으로 합니다.
* 발표자는 당일 현장에서 사다리 등의 방법으로 선정 합니다.
* 논문 발표(90분)의 경우는 상호 질문과 다양한 토론을 통해서 더 깊이 이해 할 수 있는 시간으로 활용할 예정입니다.
* 코드 발표(90분)의 경우는 2~3분이 구현된 내용을 공유하고 상호 질문하고 토론하는 시간으로 활용할 예정입니다.
* 총 120분 중 나머지 30분은 다음 과제를 위한 간단한 팁 공유 및 부족한 부분을 공유하는 시간으로 활용할 예정입니다.

Untitled-2 커리큘럼
사전학습 / 이론+실습

주차 모임내용 학습자료
1 주차 오리엔테에션 / NLP Pretrained 모델 트랜드 https://github.com/paul-hyun/transformer-evolution/blob/b21e0a1d72d7e6a7f6c7f7e554c131c09dfe2207/Transformer%20Evolution.pdf
2 주차 Attention all you need 논문 리뷰 https://arxiv.org/abs/1706.03762
3 주차 Transformer 1차 구현내용 상호발표 https://github.com/paul-hyun/transformer-evolution/tree/master/transformer
4 주차 Transformer 2차 구현내용 상호발표 https://github.com/paul-hyun/transformer-evolution/tree/master/transformer
5 주차 GPT 논문 리뷰 https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
6 주차 GPT 구현내용 상호발표 https://github.com/paul-hyun/transformer-evolution/tree/master/gpt
7 주차 BERT 논문 리뷰 https://arxiv.org/abs/1810.04805
8 주차 BERT 구현내용 상호발표 https://github.com/paul-hyun/transformer-evolution/tree/master/bert
9 주차 T5 논문 리뷰 https://arxiv.org/abs/1910.10683
10 주차 T5 구현내용 상호발표 추후 참고용 소스코드 제공 예정
11 주차 소감 및 모델 개선 아이디어 토론
Untitled-2 퍼실소개
현청천

현청천

2019년 8월부터 5명이 매주 월요일 모여서 아래와 같은 목적으로 스터디를 시작 했습니다.
  * 논문 1개 / 1주일 리뷰 / 1주일 구현
논문 선택은 최근 NLP 분야에서 SOTA를 내는 Pretrain LM을 위주로 하기로 했습니다.
매주 논문을 보고 또 논문을 구현해야 하는 일정이 쉽지 않았습니다.
약 4개월 이상 이런 노력을 해오면서 개인적으로 엄청난 실력 향상이 있었습니다. 논문을 직접 구현해 봄으로써 새로운 시각을 가질수 있게 된 듯 합니다.
그동안의 구현 내용은 깃허브에 정리 중입니다.
개인적으로 많은 도움이 되었던 과정을 다른 분들과 공유하고 함께 성장해보려고 풀입스쿨 퍼실을 신청하게 되었습니다.

월 77,000원 / 3개월 231,000원

2020-01-08 부터 총 11주 진행

모집마감

2019년 12월 20일(금요일) 오후 3시에 모집이 시작됩니다.