공부 일기장

Background Are Convolutional Neural Networks or Transformers more like human vision? 세로선이 평균선인데 ViT계열이 CNN보다 좋은 성능을 보임 ViT 계열이 shape bias가 높고 texture bias가 낮음 Abstract ViT가 낮은 layer에서 resnet보다 더 global한 정보를 포함 하지만 낮은 레이어에서 local정보를 포함하는 것이 중요하기에 대규모 사전학습 훈련 데이터가 이를 가능하게 함 ViT가 ResNet보다 Skip connetction의 효과가 훨씬 크고, 성능과 표현력에 많은 영향을 미침 공간 정보가 얼마나 보존되는지 확인 데이터셋의 크기에 따른 전이학습의 효과를 연구하였고, Linear probes..