[cs231n 강의 정리] Lecture 7 : CNN

Convolution layer 기본 구조

CNN 

여기서 depth는 항상 같다 

 

5x5x3 을 하나의 숫자로 바꾸는 작업이다.

하나의 필터는 하나의 activation map 을 만든다.

 

28 * 28 * 6 은 다음 Layer 의 input 

 

파란색 실선을 보게 되면 주황색을 나타내는데 하얀부분은 activation function 이 높은 경우, 검은색 부분은 activation function 이 낮은 경우이다. 

 

7 * 7 을 3 * 3 Filter를 사용하고 stride 가 2일 땐 3*3

 

 Padding 이 필요한 이유 input ouput size 동일하게 해준다. ( 0으로 되게 되면 convolution 진행 불가 )

 

Filter 의 크기가 1 * 1 도 의미가 있음?

있다 ! 

2차원일 때는 똑같지만

64차원을 32차원으로 줄이기 때문이다. 

 

Neural Network 와의 관계

Local connectivity : output 각각의 neuron은 recetive field에 연결이 되어있다.

Share same parameter : 동일한 parameter 를 가지는 filter 의 연산 결과이기 때문이다.

 

Pooling Layer

Representation 을 작고 관리 하기 쉽게 만든다. 

depth는 유지

Parameter 존재 하지 않는다.

 

Pooling 의 종류

Max pooling

색깔별로 나눈후 제일 큰 값 ( 의도적으로 정보 손실 (위치 정보 손실)-> 정확도 상승 )

 

 

 

LeNet-5

C : Convolution

S : SubSampling ( Pooling )

AlexNet

 

VGG-Net

Conv layer , Pooling layer 변화 x 

 

GoogleLeNet

 

ResNet

들어가자마자 7*7 Conv layer -> 초기 size 를 줄이므로 효율적 연산 

그 후 56 * 56 으로만 한다. 

 

Back propagation 할 때 바로 뛸 수 있다.