[혼공머신] 2. 훈련 세트와 테스트 세트 나누기

머신러닝에 활용될 데이터를 어떻게 나눌 것인가?

 

 

 

In [1]:

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

In [3]:

fish_data = [[l, w] for l, w in zip(fish_length,fish_weight)]
fish_target = [1]*35 + [0]*14

In [4]:

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()

In [5]:

print(fish_data[4])

[29.0, 430.0]

In [6]:

print(fish_data[0:5])

[[25.4, 242.0], [26.3, 290.0], [26.5, 340.0], [29.0, 363.0], [29.0, 430.0]]

In [7]:

print(fish_data[:5])

[[25.4, 242.0], [26.3, 290.0], [26.5, 340.0], [29.0, 363.0], [29.0, 430.0]]

In [8]:

print(fish_data[44:])

[[12.2, 12.2], [12.4, 13.4], [13.0, 12.2], [14.3, 19.7], [15.0, 19.9]]

In [9]:

train_input = fish_data[:35]
train_target = fish_target[:35]
test_input = fish_data[35:]
test_target = fish_target[35:]

In [10]:

kn.fit(train_input,train_target)
kn.score(test_input,test_target)

Out[10]:

0.0

• 도미는 도미끼리, 빙어는 빙어끼리 묶여 각각 train set과 test set으로 갔으니 모델이 제대로 예측할 수 있을리가 없다.
  • shuffle이 필요하다.

 

In [11]:

import numpy as np
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)

In [12]:

print(input_arr)

[[  25.4  242. ]
 [  26.3  290. ]
 [  26.5  340. ]
 [  29.   363. ]
 [  29.   430. ]
 [  29.7  450. ]
 [  29.7  500. ]
 [  30.   390. ]
 [  30.   450. ]
 [  30.7  500. ]
 [  31.   475. ]
 [  31.   500. ]
 [  31.5  500. ]
 [  32.   340. ]
 [  32.   600. ]
 [  32.   600. ]
 [  33.   700. ]
 [  33.   700. ]
 [  33.5  610. ]
 [  33.5  650. ]
 [  34.   575. ]
 [  34.   685. ]
 [  34.5  620. ]
 [  35.   680. ]
 [  35.   700. ]
 [  35.   725. ]
 [  35.   720. ]
 [  36.   714. ]
 [  36.   850. ]
 [  37.  1000. ]
 [  38.5  920. ]
 [  38.5  955. ]
 [  39.5  925. ]
 [  41.   975. ]
 [  41.   950. ]
 [   9.8    6.7]
 [  10.5    7.5]
 [  10.6    7. ]
 [  11.     9.7]
 [  11.2    9.8]
 [  11.3    8.7]
 [  11.8   10. ]
 [  11.8    9.9]
 [  12.     9.8]
 [  12.2   12.2]
 [  12.4   13.4]
 [  13.    12.2]
 [  14.3   19.7]
 [  15.    19.9]]

In [13]:

print(input_arr.shape)

(49, 2)

In [15]:

np.random.seed(42)
index = np.arange(49)
np.random.shuffle(index)
print(index)

[13 45 47 44 17 27 26 25 31 19 12  4 34  8  3  6 40 41 46 15  9 16 24 33
 30  0 43 32  5 29 11 36  1 21  2 37 35 23 39 10 22 18 48 20  7 42 14 28
 38]

In [17]:

print(input_arr[[1,3]])

[[ 26.3 290. ]
 [ 29.  363. ]]

input_arr에서 2번째, 4번째 원소를 꺼내는 코드이다.

In [18]:

train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]

• input_arr = fish_data를 array로 만든 것
• target_arr = fish_target을 array로 만든 것

위에서 index를 무작위로 섞었으므로 위와 같이 넣게 되면 무작위로 섞인 데이터들이 train set에 들어가게 된다.

참고로 index는 같이 공유하므로 fish_data와 fish_target의 짝지어짐은 그대로 이어진다.

 

In [19]:

print(input_arr[13],train_input[0])

[ 32. 340.] [ 32. 340.]

• 위의 shuffle index를 보면 첫번째 index가 13이다.
• 그래서 input_arr의 i=13일때의 데이터와 train_input에서 i=0일 때의 값이 같게 됨을 확인할 수 있다.

In [20]:

test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

In [22]:

import matplotlib.pyplot as plt
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(test_input[:,0], test_input[:,1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

• 위의 slicing에서 [:,0]은 모든 x 값, [:.1]은 모든 y 값을 뜻한다.
• 파란색이 train set, 주황색이 test set이고 고루 섞인 것을 확인할 수 있다.

In [23]:

kn = kn.fit(train_input, train_target)
kn.score(test_input, test_target)

Out[23]:

1.0

In [24]:

kn.predict(test_input)

Out[24]:

array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])

In [25]:

test_target

Out[25]:

array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])

훈련된 모델로 test_input을 넣었을 때 test_target과 완벽히 일치하는 것을 알 수 있다.