- Attention mechanism에 대한 개념, Global & local attention, application 등.
- 관계추론에 대한 신경망 제안.
- Self-Attention 개념을 사용해 효과적인 embedding을 하려고 함.
- White-box 형식의 신경망 제안. Arithmetic Logic의 동작을 구현하는 구조.
- GAN 학습의 새로운 방법론을 제안.
- 신경망 학습의 기초 복습. loss functions 설명, optimizer의 개념 및 발전.
- 기존 normalization layer의 문제점을 해결하는 새로운 adaptive normalization layer 개념을 제안.
- 2개의 VAE를 사용해 효과적으로 I2I 학습이 가능한 신경망을 제안.