반응형

linear regression 2

Linear Regression :: Least Square Method(최소제곱법, 최소자승법) :: 회귀 계수 추정

선형 회귀분석에서 회귀 계수(모수) 추정하는 방법 : 최소제곱법, 최소자승법 Linear Regression은 x(독립변수)로 y(종속변수)를 가장 잘 설명할 수 있는 선형식을 찾아 y값을 예측할 수 있는 모델을 만드는 기법이다.x변수의 갯수가 n개라 할 때 추정되는 선형식은 다음과같다. $$\hat{y}=\beta_0+\beta_1x_1+\beta_2x_2+...+\beta_nx_n$$ 이 때 저 $\beta$들을 회귀 계수라 부르며, 이를 추정하는 방법을 최소제곱법(=최소자승법=Least Square Method)이라 한다.  최소제곱법의 기본 원리는 잔차(관측값과 예측값의 차이) 제곱 합을 최소화 하는 회귀계수를 찾는 것이다.  $x$변수가 1개인 단순 선형 회귀라 가정 할 때 아래 식을 최소화하는..

Linear Regression 기본 가정 네가지 :: 선형성, 다중공선성, 등분산성, 정규성

선형 회귀분석 기본 가정 네가지선형성, 다중공선성, 등분산성, 정규성  Linea Regression은 모수를 추정하는 방식이다. 즉, X(독립변수)로 Y(종속변수)를 예측하는 다음과 같은 식을 만드는데  $$y=w_0+w_1x_1+w_2x_2+...+w_nx_n$$ $w$ 를 모수라 하며, 이 모수를 추정하여 $x$로 $y$를 예측한다. 이때 추정한 모수들이 신뢰성이 있으려면 네 가지 가정을 만족해야 한다. 네 가지 가정에 대해 1. 가정의 의미2. 가정을 만족해야 하는 이유3. 가정을 확인하는 방법4. 만족하지 못할 시 해결방법에 대해 알아보겠다.  1. 선형성 선형 회귀분석은 이름에서도 알 수 있듯이 x와 y의 선형식을 구해서 x로 y를 예측하는 모델이기때문에 당연히 x와 y의 관계가 선형이어야 한..

반응형