[혼자 공부하는 머신러닝+딥러닝] 책의 내용을 정리한 글 입니다.
개념
머신러닝 알고리즘은 크게 두가지로 나눌 수 있다.
- 지도 학습: 입력(데이터)과 타깃(정답)을 전달하여 모델을 훈련한 다음 새로운 데이터를 예측하는 데 활용
- 비지도 학습: 타깃(정답) 없이 무엇을 예측하는 것이 아니라 입력(데이터)에서 어떤 특징을 찾는 데 주로 활용
두가지 학습에서 모두 사용되는 입력 데이터는 여러가지 특성(ex. 물고기의 길이, 무게)의 그룹이라고 볼 수 있다.
그리고 이런 하나의 입력 데이터를 샘플 이라고 부른다.
지도 학습에서는 입력과 타깃, 비지도 학습에서는 입력 데이터가 필요한데
이 데이터도 테스트 세트와 훈련 세트로 나누어 사용하게 된다.
이 과정에서 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않아 샘플링이 한 쪽으로 치우친 경우 샘플링 편향 되었다고 말한다.
코드 작성
위 개념을 바탕으로 좀 더 정확한 모델 평가를 위해 훈련 세트와 테스트 세트로 나누어 모델을 학습시켜보자.
도미와 빙어 데이터 준비
fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
fish_data = [[l, w] for l, w in zip(fish_length, fish_weight)]
fish_target = [1]*35 + [0]*14
파이썬의 numpy 라이브러리를 사용하여 샘플링 편향 되지 않도록 훈련 세트와 테스트 세트를 골고루 섞어서 분리
import numpy as np
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)
np.random.seed(42)
index = np.arange(49)
np.random.shuffle(index)
train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]
test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]
훈련 세트로 모델 학습 후 테스트 세트의 예측 결과와 실제 타깃을 확인
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)
kn.predict(test_input)
# array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])
test_target
# array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])
이 장에서 사용된 핵심 패키지와 함수
numby
- seed()
- 넘파이에서 난수를 생성하기 위한 정수 초깃값을 지정, 초깃값이 같으면 동일한 난수를 뽑을 수 있다.
- arange()
- 일정한 간격의 정수 또는 실수 배열을 만든다. 기본 간격은 1, 매개변수가 하나이면 종료 숫자를 의미한다.
- shuffle()
- 주어진 배열을 랜덤하게 섞는다. 다차원 배열일 경우 첫번째 축(행)에 대해서만 섞는다.
'Machine Learning' 카테고리의 다른 글
[혼자 공부하는 머신러닝 + 딥러닝] 로지스틱 회귀 (0) | 2023.04.27 |
---|---|
[혼자 공부하는 머신러닝 + 딥러닝] 특성 공학과 규제 (0) | 2023.04.21 |
[혼자 공부하는 머신러닝 + 딥러닝] 선형 회귀 (0) | 2023.04.15 |
[혼자 공부하는 머신러닝 + 딥러닝] k-최근접 이웃 회귀 (0) | 2023.04.11 |
[혼자 공부하는 머신러닝+딥러닝] 데이터 전처리 (0) | 2023.04.11 |