Neural Networks & Multi-Layer Perceptron

인간의 지능을 모방 but 똑같을 필요는 없다

과거의 새를 모방하고자 만든 비행기는 새와 똑같은가?

우리가 하늘을 날고 싶다고 해서 항상 새처럼 날 필요는 없다

 

neural networks가 시작은 인간의 뇌를 모방하고자 했지만 지금은 사실 많이 다르고 왜 잘됬는지는 수학적으로 분석해야 할 것이다.

 

Neural networks are fuction approximators that stack affine transformations followed by nonlinerar transformations.

• 비선형 연산이 반복적으로 일어나는 연산

Linear Neural Networks

 

NonLinear Neural Networks

multi-layer perceptrons

 

표현력을 극대화 하기 위해서는 nonlinear function이 필요

activation function

사실상 hidden layer가 하나만 있어도  충분한 표현력을 가짐

하지만 이는 단지 존재성만을 보이는 것이지 나의 모델이 그런 성질을 가진다는 보장은 하지 못함