본 과정은 Transformer architecture를 기반으로 pretraining and finetuning paradigm에 관련된 논문들을 읽습니다.
NLP Bootcamp (Transformer Is All You Need)
NLP, Transformer
시작일
매주 2019년 10월 12일
진행일시
매주
모집현황

data-product-id="11859"

진행장소
캠퍼스
학습대상
NLP, NLU, NLG의 현재 Trend를 알고 싶은 분
과목난이도

쉬움 (1단계) ~ 어려움(5단계)

학습목표
Transformer architecture를 기반으로하는 pretraining and finetuning paradigm을 같이 공부합니다.
운영방식
1. 리스트업한 논문들을 각 발표자에게 배정합니다.
2. 참가자는 최소 한번 논문 발표를 진행합니다.
3. 발표자료를 토대로 모임시간에 토론합니다.
선수지식
Self attention과 CNN, RNN의 차이를 알고 있음
학습 및 참고자료
Transformer architecture를 기반으로하는 여러 논문들
커리큘럼
/
주차 모임내용 학습자료
1 주차 Ice breaking 및 발표자할당 Universal Language Model Fine-tuning for Text Classification
2 주차 논문 발표 및 토의 Attention Is All You Need, Universal Sentence Encoder
3 주차 논문 발표 및 토의 Self-Attention with Relative Position Representations, Character-Level Language Modeling with Deeper Self-Attention
4 주차 논문 발표 및 토의 Generating Wikipedia by Summarizing Long Sequences, Improving Language Understanding by Generative Pre-Training, Language models are unsupervised multitask learners
5 주차 논문 발표 및 토의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Multi-Task Deep Neural Networks for Natural Language Understanding
6 주차 논문 발표 및 토의 SpanBERT: Improving Pre-training by Representing and Predicting Spans, ERNIE: Enhanced Representation through Knowledge Integration
7 주차 논문 발표 및 토의 RoBERTa: A Robustly Optimized BERT Pretraining ApproachCross-lingual Language Model Pretraining, ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
8 주차 논문 발표 및 토의 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context, XLNet: Generalized Autoregressive Pretraining for Language Understanding
9 주차 논문 발표 및 토의 Cross-lingual Language Model Pretraining, MASS: Masked Sequence to Sequence Pre-training for Language Generation
10 주차 논문 발표 및 토의 Unified Language Model Pre-training for Natural Language Understanding and Generation, Distilling the Knowledge in a Neural Network
11 주차 논문 발표 및 토의 DistillBERT
퍼실소개
김보섭

김보섭

모두의연구소에서 오랜 기간동안 자연어처리 및 딥러닝 관련 과정 퍼실로 활동하고 있습니다. 현재 자연어처리 관련 분야는 Transformer architecture를 기반으로 pretraining and finetuning paradigm이 유행하고 있습니다. Transformer architecture를 기반으로하는 NLP, NLU, NLG의 여러 방법을 같이 공부하고 이해하는 것이 목표입니다.

모두의연구소에서 오랜 기간동안 자연어처리 및 딥러닝 관련 과정 퍼실로 활동하고 있습니다. 현재 자연어처리 관련 분야는 Transformer architecture를 기반으로 pretraining and finetuning paradigm이 유행하고 있습니다. Transformer architecture를 기반으로하는 NLP, NLU, NLG의 여러 방법을 같이 공부하고 이해하는 것이 목표입니다.


풀잎스쿨 신청 및 결제를 위해서 로그인을 해주세요