현재 딥러닝으로 활용되고 있는 모델은 크게 Autoregressive, Flow, Latent Variable, Implicit Models로 나눌 수 있습니다.
Autoregressive는 대표적으로 Transformer와 Wavenet 등이 있고 자연어와 오디오 생성에 적합합니다.
Flow Models로는 Glow, FlowSeq 등의 모델이 있으며 Autoregressive Models에 비해 생성속도가 빠르다는 장점이 있습니다.
Latent Variable Models로는 대표적으로 VAE를 들 수 있는데 데이터를 저차원으로 매핑하여 원하는 feature를 자유롭게 컨트롤해 볼 수 있다는 장점이 있습니다.
Implicit Models로는 GAN이 있으며 앞에서 예로든 explicit density estimation 계열의 모델들에 비해 트레이닝이 어렵지만, 트레이닝이 성공할 시 품질이 매우 좋다는 장점이 있습니다. 이런 다양한 생성모델에 대해 모두 다룹니다.
Deep Generative Models
진행일시
매주 (2시간)
모집현황

0.000000명 신청가능

진행장소
캠퍼스
Untitled-2 학습대상

Autoregressive Models, Flow Models, Latent Variable Models, Implicit Models 등 다양한 Generative Models을 공부하고 싶으신 분
GAN을 배웠으나 잘 작동되지 않아 어려움이 많으신 분
생성모델을 이론적으로 명확하게 이해하고 싶으신 분

Untitled-2 선수지식

1. CNN, RNN의 작동 방식을 정확히 설명할 수 있으신 분
2. 선형대수학, 확률과 통계, 미적분학에 대한 지식이 있으신 분
3. 영어 강의를 보는데 부담이 없으신 분
4. Pytorch, Tensorflow 1.x, 2.0 등 코딩 잘하시는 분
5. 매주 50장 이상의 프린트를 공부할 여유가 있으신 분

Untitled-2 과목난이도

쉬움 (1단계) ~ 어려움(5단계)

학습목표

Autoregressive Models, Latent Variable Models, Flow Models, Implicit Models 등 다양한 생성모델들을 학습합니다.

Untitled-2 학습 및 참고자료

주교재 : berkeley CS294-158 : Deep Unsupervised Learning Spring 2019
https://sites.google.com/view/berkeley-cs294-158-sp19/home

부교재 : stanford CS236 : Deep Generative Models Fall 2019
https://deepgenerativemodels.github.io

참고자료 :
Ian Goodfellow, "Deep Learning Book"
Christopher M. Bishop, "Pattern Recognition and Machine Learning"
Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong, "Mathematics for Machine Learning"

Untitled-2 운영방식

1. CS294-158의 강의를 매주 하나씩 시청합니다.
2. 강의를 토대로 매주 3, 4명씩 자원해서 발표합니다.
3. 그 다음주는 배운 모델을 직접 코드로 구현해서 발표합니다.

Untitled-2 커리큘럼
사전학습 / 이론+실습

주차 모임내용 학습자료
1 주차 Autoregressive Models - 이론1 Lecture 1c: Likelihood-based Models Part I: Autoregressive Models
2 주차 Autoregressive Models - 이론2 Lecture 2a: Likelihood-based Models Part I: Autoregressive Models
3 주차 Autoregressive Models - 실습 Wavenet, PixelCNN
4 주차 Flow Models - 이론1 Lecture 2c: Likelihood-based Models Part II: Flow Models
5 주차 Flow Models - 이론2 Lecture 3a: Likelihood-based Models Part II: Flow Models
6 주차 Flow Models - 실습 NICE, RealNVP, GLOW
7 주차 Latent Variable Models - 이론1 Lecture 3b: Latent Variable Models - part 1
8 주차 Latent Variable Models - 이론2 Lecture 4a: Latent Variable Models - part 2
9 주차 Latent Variable Models - 실습 VAE
10 주차 Implicit Models - 이론 Lecture 5c: Implicit Models / Generative Adversarial Networks
11 주차 Implicit Models - 실습 GAN, DCGAN, WGAN, WGAN-GP, Spectral Norm.
Untitled-2 퍼실소개
박수철

박수철

생성모델과 베이지안을 공부하고 있습니다. 생성모델하면 GAN을 보통 많이 떠올리는데요. GAN은 다른 딥러닝 모델에 비해 매우 다루기 어렵습니다. 그렇기에 GAN을 알기 전에 생성모델의 기본 개념부터 먼저 정확히 파악하는 것이 중요합니다. 그리고 사실 많은 경우 GAN이 아닌 다른 생성모델을 이용해 문제를 해결할 수 있죠! 다양한 생성모델을 공부하고 적재적소에 사용할 수 있는 힘을 길러보아요.

월 77,000원 / 3개월 231,000원

2020-01-09 부터 총 11주 진행

모집마감

2019년 12월 20일(금요일) 오후 3시에 모집이 시작됩니다.