机器学习——KNN邻近算法---week

一. KNN算法介绍

1、KNN 算法概述 Cover和Hart在1968年提出了最初的邻近算法。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN是一种分类(classification)算法，它输入基于实例的学习（instance-based learning），属于懒惰学习（lazy learning）即KNN没有显式的学习过程，也就是说没有训练阶段，数据集事先已有了分类和特征值，待收到新样本后直接进行处理。KNN是通过测量不同特征值之间的距离进行分类。

KNN算法的思路是：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

2、KNN算法实现步骤 1）计算测试数据与各个训练数据之间的距离； 　2）按照距离的递增关系进行排序； 　3）选取距离最小的K个点 　4）确定前K个点所在类别的出现频率 　5）返回前K个点中出现频率最高的类别作为测试数据的预测分类

3、KNN算法中K值的选择（交叉验证）

from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import cross_val_score#引入交叉验证 import matplotlib.pyplot as plt ###引入数据### iris=datasets.load_iris() X=iris.data y=iris.target ###设置n_neighbors的值为1到30,通过绘图来看训练分数### k_range=range(1,31) k_score=[] for k in ---来自腾讯云社区的---week