[혼공머신] 5. Linear Regression

In [1]:

import numpy as np
perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
       44.0])
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

In [2]:

from sklearn.model_selection import train_test_split

In [3]:

train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state=42)

In [4]:

train_input = train_input.reshape(-1,1)
test_input = test_input.reshape(-1,1)

In [6]:

from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor(n_neighbors = 3)

knr.fit(train_input, train_target)

Out[6]:

KNeighborsRegressor(n_neighbors=3)

In [7]:

print(knr.predict([[50]]))

[1033.33333333]

In [8]:

import matplotlib.pyplot as plt

distances, indexes = knr.kneighbors([[50]])

plt.scatter(train_input,train_target)

plt.scatter(train_input[indexes], train_target[indexes], marker='D')

plt.scatter(50, 1033, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

• 50cm 농어의 길이는 더 무거워야 한다. 그러나 이웃으로 잡은 3개의 점의 평균값으로 계산되기 때문에 이러한 오류가 발생한다.
• 이런식이면 길이가 50cm 든 100cm든 모두 1033g으로 예측할 것이다.
  • 새로운 모델이 필요하다.

In [10]:

from sklearn.linear_model import LinearRegression
lr= LinearRegression()

lr.fit(train_input, train_target)

print(lr.predict([[50]]))

[1241.83860323]

In [11]:

print(lr.coef_, lr.intercept_)

[39.01714496] -709.0186449535477

• 직선의 기울기는 39,
• y절편은 -709로 예측했다.

In [12]:

plt.scatter(train_input,train_target)

# 15부터 50Rkwl 1차 방정식 그래프를 그린다
plt.plot([15,50],[15*lr.coef_+lr.intercept_, 50*lr.coef_+lr.intercept_])

# 50cm 농어 데이터
plt.scatter(50, 1241.8, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [13]:

print(lr.score(train_input, train_target))
print(lr.score(test_input, test_target))

0.939846333997604
0.8247503123313558

• 훈련 세트의 정확도가 테스트 세트의 정확도보다 높으므로 overfitting 되었다고 할 수 있을까?
  • 오히려 전체적으로 과소적합되었다고 볼 수 있다.
  • 게다가 왼쪽 아래의 무게는... 음수로 예측된다(!)
• 또 다른 새로운 모델이 필요하다: 다항 회귀
  • 2차식을 이용하기 위해서 길이^2 데이터가 필요하다

In [14]:

train_poly = np.column_stack((train_input ** 2, train_input))
test_poly = np.column_stack((test_input ** 2, test_input))

In [15]:

print(train_poly, test_poly)

[[ 384.16   19.6 ]
 [ 484.     22.  ]
 [ 349.69   18.7 ]
 [ 302.76   17.4 ]
 [1296.     36.  ]
 [ 625.     25.  ]
 [1600.     40.  ]
 [1521.     39.  ]
 [1849.     43.  ]
 [ 484.     22.  ]
 [ 400.     20.  ]
 [ 484.     22.  ]
 [ 576.     24.  ]
 [ 756.25   27.5 ]
 [1849.     43.  ]
 [1600.     40.  ]
 [ 576.     24.  ]
 [ 441.     21.  ]
 [ 756.25   27.5 ]
 [1600.     40.  ]
 [1075.84   32.8 ]
 [ 702.25   26.5 ]
 [1332.25   36.5 ]
 [ 187.69   13.7 ]
 [ 515.29   22.7 ]
 [ 225.     15.  ]
 [1369.     37.  ]
 [1225.     35.  ]
 [ 823.69   28.7 ]
 [ 552.25   23.5 ]
 [1521.     39.  ]
 [ 441.     21.  ]
 [ 529.     23.  ]
 [ 484.     22.  ]
 [1936.     44.  ]
 [ 506.25   22.5 ]
 [ 361.     19.  ]
 [1369.     37.  ]
 [ 484.     22.  ]
 [ 655.36   25.6 ]
 [1764.     42.  ]
 [1190.25   34.5 ]] [[  70.56    8.4 ]
 [ 324.     18.  ]
 [ 756.25   27.5 ]
 [ 453.69   21.3 ]
 [ 506.25   22.5 ]
 [1600.     40.  ]
 [ 900.     30.  ]
 [ 605.16   24.6 ]
 [1521.     39.  ]
 [ 441.     21.  ]
 [1892.25   43.5 ]
 [ 262.44   16.2 ]
 [ 784.     28.  ]
 [ 745.29   27.3 ]]

In [18]:

lr = LinearRegression()
lr.fit(train_poly, train_target)

# 50cm 농어 데이터
print(lr.predict([[50**2, 50]]))

[1573.98423528]

In [19]:

print(lr.coef_, lr.intercept_)

[  1.01433211 -21.55792498] 116.05021078278276

• 이 모델이 학습한 그래프는 아래와 같다:
  • 무게 = 1.01 길이^2 - 21.6 길이 + 116.05

In [24]:

point = np.arange(15,50)

plt.scatter(train_input, train_target)
            
plt.plot(point, 1.01*point**2 - 21.6*point + 116.05)

plt.scatter(50, 1574, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [25]:

print(lr.score(train_poly, train_target))
print(lr.score(test_poly, test_target))

0.9706807451768623
0.9775935108325121

• 두 세트에 대한 점수가 높아졌다.
  • 그러나 여전히 테스트 세트의 스코어가 더 높다.
  • 더 복잡한 모델이 필요하다.

In [1]:

from IPython.core.display import display, HTML

display(HTML("<style>.container { width:90% !important; }</style>"))