텐서플로우(Tensorflow)선형회귀 정리

1. 선형회귀란?

 종속변수 Y와 한 개 이상의 독립변수 X와의 선형 상관 관계를 모델링하는 회귀분석 기법

2. 텐서플로우에서 선형회귀를 하는 과정

H(W,b) = Wx + b라는 식을 만들어서 목표값을 추출할 수 있는 함수를 만드는 과정입니다.

 

텐서플로우에서 선형회귀 모델을 수행하기 위해서는 가장 먼저 가설을 초기화 하는 과정이 필요합니다.

초기화 과정은 W=1, b=0으로 기본값을 설정해주는 과정입니다.

Cost 함수는 다음과 같은 형태로 사용됩니다.

cost(W,b)

 

최소제곱법을 이용해서 cost를 계산합니다.

이식을 최소로 만드는

 

의 값을 구하는 과정입니다.

 

 

Cost 함수는 예측값과 실제 값의 오차의 평균을 의미합니다.

기울기(W)가 목표값에서 많이 차이가 나게 될수록 차이가 기하급수적으로 늘어납니다.(제곱계산법으로 인해)

 

기울기를 구하는 과정은 경사하강법을 이용

 

경사하강법: Cost를 줄이기 위해 반복적으로 기울기를 계산하여 변수의 값을 변경해나가는 과정

 

Cost함수를 미분해서 기울기를 구해야합니다.

식에 변수가 많이 있으므로 편미분을 이용해야합니다.

편미분은 자신을 제외한 나머지를 상수취급 하여 계산하는 방법입니다.

 

Cost가 0이 되면 종료, 아니면 W값과 b값 업데이트

(업데이트 횟수를 epoch라고 합니다.)

 

공분산과 분산을 이용해서도 구할 수 있습니다.

하지만 수학적으로 풀기 쉽지않기 때문에 경사하강법을 이용해서 합리적으로 문제를 풀어나가고 있습니다.