Historical Review

Deep learner?

1. Implemenation Skills

2. Math Skills

3. Knowing a lot of recent Papers

---

Key components of Deep learning

(아래와 같은 항목에 focus 해서 논문을 살펴보는 것이 좋다)

• Data
• Model
• Loss fuction
• Optimization(Algorithm)

1. Data

data depend on the type of the problem to solve

 

2. Model

model의 성질에 따라 다양한 결과가 도출됨

 

3. Loss

Loss fuction is a proxy

 

4. Optimization(Algorithm)

• dropout
• early stopping
• k-fold validation
• weight decay
• batch normalizaion
• mix up
• ensemble

 

Deep Learning History

논문 - Deep Learning's Most Important Ideas - A Breif Historical Review
https://dennybritz.com/blog/deep-learning-most-important-ideas

 

2012 - AlexNet

• 이 시기를 기준으로 deeplearning 모델들이 실제적으로 성능을 발휘
• 모든 기계학습의 판도가 바뀜

2013 - DQN

• deepmind (알파고)
• 강화학습 

2014 - Encoder / Decoder

• 번역 task
• A를 잘 encoding해서  B로 decoding

2015 - Adam Optimizer

• 다양한 optimizer가 있는데 adam이 결과가 일반적으로 잘 나옴

2016 - GAN, ResNet

• 생성모델 GAN
• 네트워크를 깊게 쌓는 ResNet
  • 기존의 layer가 깊어지면 training이 안되는것이 아니라 test성능이 떨어짐
  • 많이 쌓아도 test data 성능이 나오도록 

2017 - Transfomer

• Attention is all you need

2018 - Bert

• bert자체의 중요성도 있지만 finetuned nlp models의 개념이 탄생한 것이 더 중요

2019 - Big Language Models(GPT)

• OpenAI
• fine-tuned nlp models의 끝판왕
• 굉장히 많은 파라미터

2020 - Self-supervised Learning

• 2020년도의 트렌드
• SimCLR
• 한정된 데이터를 사용하여 Task를 수행하는 것이 일반적이였다면 unlabeled 데이터를 가지고 학습하여 수행
• 좋은 visual representation을 학습하는 것이 중요하다.