Ілюстрація на прикладі датасет wine який вже є в sklearn.
from sklearn import datasets
#завантажуємо dataset
wine = datasets.load_wine()
Дані можна при потребі передати в pandas
wine_pd=pd.DataFrame(data= wine.data, columns=wine.feature_names)
Ці дані є результатами хімічного аналізу вин, вирощених в одному регіоні в Італії, але отриманих з трьох різних сортів винограду. Аналіз визначив 13 хімічних складових, знайдених у кожному з трьох типів вин і які знаходяться в колонках набору.
# назви ознак
print(wine.feature_names)
['alcohol', 'malic_acid', 'ash', 'alcalinity_of_ash', 'magnesium', 'total_phenols', 'flavanoids', 'nonflavanoid_phenols', 'proanthocyanins', 'color_intensity', 'hue', 'od280/od315_of_diluted_wines', 'proline']
В колонці target знаходиться номер типу - 0, 1, або 2 , до якого відноситься вино з даним хімічним аналізом. Данні записані в масивах 'data', 'target'.
wine.target
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2,
2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
2, 2])
Розіб'ємо дані на навчальні і тестові.
#в scikit-learn
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, test_size=0.3) # 70\% тренувальна вибірка і 30\% тестова
# В pandas вручну
f_target=df['y']
df_data=df.iloc[:,1:]
X_train, X_test, y_train, y_test = train_test_split(df_data, df_target, test_size=0.3)
Навчаємо модель для кількості сусідів рівній 5 і виконуємо прогнозування на тестовому наборі. Щоб отримати прогнози для тестових даних, ми викликаємо метод predict. Для кожної точки тестового набору він знаходить її найближчих 5 сусідів в навчальному наборі і знаходить серед них клас який зустрічається найчастіше.
from sklearn.neighbors import KNeighborsClassifier
#Створюємо KNN класифікатор
knn = KNeighborsClassifier(n_neighbors=5)
#Тренуєил модель на тренувальному наборі
knn.fit(X_train, y_train)
#Виконуємо прогнозування на тестовому наборі
y_pred = knn.predict(X_test)
y_pred
[1 2 2 2 1 2 2 2 2 0 0 0 2 0 1 2 2 2 0 0 1 0 2 0 2 1 2 2 1 0 2 1 2 1 0 1 2
1 2 1 0 0 2 1 0 1 2 0 1 2 1 2 1 0]
Для оцінки точності використаємо метрику metrics.accuracy_score, яка обчислює частку правильно класифікованих об'єктів з тестового набору
$$
\frac{1}{n}\sum_{i=1}^n [y\_pred[i]=y\_test[i]].
$$
Якщо встановити параметр normalize=False, то метрика повертає загальну кількість елементів двох списків, які співпадають, наприклад
A = [0, 2, 1, 3]
B = [0, 1, 2, 3]
accuracy_score(A, B)
0.5
accuracy_score(A, B, normalize=False)
2
Оцінюємо точність моделі порівнюючи отримані результати з тестовим набором
from sklearn import metrics
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))
Accuracy: 0.6666666666666666
Точність може сильно відрізнятися оскільки залежить від конкретного розбиття даних.
Знаходимо при якій кількості сусідів точність найкраща
X_train , X_test , y_train , y_test = train_test_split(wine.data, wine.target,test_size=0.25)
training_accuracy = []
test_accuracy=[]
# задаємо діапазон n_neighbors від 1 до 30
neighbors_settings = range(1, 30)
for n_neighbors in neighbors_settings:
# будуємо модель
knn = KNeighborsClassifier(n_neighbors=n_neighbors)
knn.fit(X_train, y_train)
y_pred = knn.predict(X_test)
# записуємо точність на навчальному наборі
training_accuracy.append(metrics.accuracy_score(y_test, y_pred))
# записуємо точність на тестовому наборі
test_accuracy.append(metrics.accuracy_score(y_train, y_train_pr))
#Знаходимо найкращу точність
print('Найкраща точність при k=',np.argmax(training_accuracy))
Будуємо графік точності
from matplotlib.pyplot import figure
figure(figsize=(10,8))
plt.plot(neighbors_settings, training_accuracy, label="точність на тестовому наборі")
#plt.plot(neighbors_settings, test_accuracy, label="точність на тестовому наборі")
plt.ylabel("Точність")
plt.xlabel("кількість сусідів")
plt.legend()
Форма графіків, їхнє взаємне розташування та оптимальне значення $k$ залежать від конкрентного розбиття на навчальну та тестову вибірки і можуть сильно відрізнятися від наведеного тут.
