다중 퍼셉트론(이론)

deep learning= 신경망(NN)을 이용한 머신러닝 기법

perceptron= 선형분류기, Feedforward Network/ 인간의 뇌중 뉴런을 모사한 방식

 

f: activation function: 어떤 신호 이상이면 1, 이하면 0이 나오도록만 설계 되면됨.

 

MLP:뉴런을 여러개 쌓는 것 (=perceptron을 여러개 쌓는것)-> MLP는 전에배웠던 로지스틱 유닛을 쌓아서 만들 수 있다. 

지금까지 배웠던 모듈을 이용해서 신경망을 모사할 수 있다. 

 

컴퓨터= 논리연산(and/or/xor)

or과 and는 괜찮지만 xor 안됨 ㅜㅁㅠ

Marvin Minsky 'xor'문제를 풀 수 없다!

 

Paul Werbos(+Hinton) -> Backpropagation(역전파)로 문제 해결

• Backpropagation: 역방향으로 오차를 전파시키면서 각층의 가중치를 업데이트하고 최적의 학습결과를 찾아가는 방법

 

 

 

Convolutional Neural Networks(CNN)( Lecun ) : Backpropagation말고 신경망기반의 방법론을 breakthrough 할 수 있었던 방법론 / 영상의 전체 형태를 통해 feature가 결정되는 것이 아니라 부분부분 연산들의 결합을 통해서 최종적인 feature가 만들어진다 ->computer vesion

 

 

 

또 다른 난관 : MLP를 많이 쌓았더니 학습이 안되더라!(Gradient vanishing 문제: 너무 깊어서 가중치가 소설되는 문제 발생) -> 깊은 신경망에서는  Backpropagation이 잘 안된다.-> SVM, Random Forest등이 각광받기 시작

 

해결: 1. w,b의 초기화

          2. dropout -깊은 신경망에서도 w,b값의 학습이 잘 될수 있게 하는 방법

 

딥러닝의 3대 거장

Lecun , Hinton , Bengio

 

MLP라고 불리우던 방법론들을 새롭게 브랜딩 =Deep nets ,Deep Learning

 

딥러닝의 예시 - 사진을주고 캡셔닝 / 음성인식/ altari-게임에서 인공지능

 

 

왜 그동안 딥러닝의 시대가 오지 못했는지

1. 우리에게 레이블링 된 데이터가 많지 않음(빅데이로로 해결)

2. 컴퓨터 연산 속도가 느림<- GPU가 나와서 해결

3. 초기화로 문제 해결

4. 잘못된 non-linearity함수를 사용중이었음.

 

(빅데이터, GPU, 인공지능 기술)

 

 

xor문제 -> backpropagation을 통해 학습가능(시각정보를 처리할 수 있도록 하기도함)-> Gradient Vanishing 문제 발생-> 특별한 초기화 & dropout을 통해 극복