Home Improved Regularization of Convolutional Neural Networks with Cutout
Post
Cancel

Improved Regularization of Convolutional Neural Networks with Cutout

Introduction

Related Work

본 논문에서 저자는 자신들이 제안한 Cutout이 data augmentation과 dropout에 아주 밀접하게 연관되어 있다고 한다. 또한, denoising auto-encoder와 context encoder와 몇 가지 유사하다고 한다.

왜 그런지는 바로 밑에서 살펴보도록 하자.

Data Augmentation for Images

  • Optical chracter recognition을 위한 LeNet5을 학습할 때 LeCun et al.은 모델의 accuracy와 robustness 향상하기 위해 다양한 horizontal translation, vertical translation, scaling, squeezing, horizontal shearing을 포함한 다양한 afffine transform을 적용했다고 한다.

  • 2012 Imagenet Large Scale Visual Recognition Competition에서 AlexNet의 성능을 향상하기 위해 Krizhevsky et al.은 morrioing, cropoing을 적용했다고 한다.

Dropout in Convolutional Neural Networks

Denoising Auto-encoders & Context Encoders

Cutout

Motivation

Implementation Details

Experiments

제안한 cutout의 성능을 평가하기 위해 CIFAR-10, CIFAR-100, SVHN, STL-10 총 4개의 데이터셋에 대해 테스트를 진행하였다.

CIFAR-10 and CIFAR-100

SVHN

Street View House Numbers(SVHN) 데이터셋은 다음과 같이 구성되어 있다.

  • 32x32 크기

저자는 SVHN에 cutout성능을 테스트 하기 위해

STL-10

Analysis of Cutout’s Effect on Activations

Conclusion

This post is licensed under CC BY 4.0 by the author.