선형 회귀(Linear Regression)

Linear Regression

Linear Regression을 결정하는 가장 중요한 요소 1. 가설설정(hypothesis) 2. Cost function  

 

 

-Hypothesis (가설설정)

모델은 선형이라고 가설 세움

H(x)=Wx+b

구하고자하는 건 W와 b!(모델 파라미터)

학습의 답과 정답의 차이(오차)가 적은 것이 좋은 모델

 

 

 

-Cost function

Cost function=Loss function=Objective function

H(x)-y (H(x)는 예측값,y는 참값)

m은 전체 샘플의 수=> 에러평균

 

코스트가 가장 작은 W와 b를 찾는 것이 선형회귀문제의 솔루션을 구하는 방법!

 

 

 

==> W와 b어떻게 찾을까?

H(x)를 Wx라 가정

 

cost는 이차방정식의 모양

==>수학적으로 최소점을 어떻게 찾을까?=GD

 

-Gradient descent(경사하강알고리즘)

: 기울기가 점점 작아지는 방향으로 이동/ 코스트가 가장 적은 곳의 파라미터를 구하는 방법-< 미분이용/ 더이상 W가 변하지 않을때까지 반복

미분상의 편의를 위해 cost함수 변경

 

GD의 정의

더이상 W가 갱신되지 않을때까지 반복(기울기가 0이 되는 지점)

 

H(x)=Wx일때의 GD

 

 

++)

•Convex function (Global minimum) : 극점이 한개-Linear Regression

• Non Convex function(Local minima) : 국소점 최소점 여러개 존재

 

 

입력의 데이터가 여러개인 데이터에 대한 Linear Regression

 

 

너무 길어서 행렬도입-X는 행렬

 

single variable에 대한 H(x)였던 WX는 multivariable로 변경된 XW로 변경해도 문제되지 않는다

실제로 구현할떄에는 H(X)=XW를 사용 (single,multiple이든 관계없이)