ILSVRC(modern models)

ILSVRC 에서 해마다 우수한 성능을 보였던 모델들의 핵심만 리뷰

모델이 발전해가면서 네트워크의 depth는 점점 깊어지면서 parameters는 점점 줄어든다.

 

 

AlexNet 

•  11x11 Input
  • 파라미터 숫자 관점에서는 좋지 않은 선택
  • 해당 필터는 receptive field는 넓어질 수 있지만 상대적으로 더 많은 파라미터가 필요
• 8-layers
  • 5 conv + 3 dense 

Key ideas

• ReLU(Rectified Linear Unit) activation
  • overcom the vanishing gradient problem
  • good generalization
• GPI implementations(2 GPUs)
• Data augmentation
• Dropout

 

VGGNet 

• 3 x 3 convolution filters의 반복을 통해서 depth를 증가
• 1 x 1 convolution을 FC layer로 사용
• Dropout

Why 3 x 3 convolution? 
- same receptive field
- low parameters

 

GoogleNet

goolgenet 모델 구조

• Inception Block
  • 하나의 입력에 대해서 여러개의 receptive field를 가지고, 여러개의 instance들을 concat하는 효과
  • 1 x 1 conv를 끼워넣어서 파라미터의 수를 줄인다
  • channel-wise reduce

1x1 conv의 효과

 

ResNet

네트워크가 커짐에 따라서 학습 자체가 잘 안되는 현상을 해결

• skip connection을 통해서 identity mapping

 

DenseNet

• addition 대신에 concatnate로 구조를 변경