0x02 算法实现

kNN算法自实现

打开Jupyter Notebook，创建Python3文件。

准备数据

首先我们准备一组数据：

数据可视化后生成的图片如下图所示。其中横轴是肿块大小，纵轴是发现时间。每个病人的肿块大小和发病时间构成了二维平面特征中的一个点。对于每个点，我们通过label明确是恶性肿瘤（绿色）、良性肿瘤（红色）。

那么现在给出一个肿瘤患者的数据（样本点）x：[8.90933607318, 3.365731514]，是良性肿瘤还是恶性肿瘤

求距离

我们要做的是：求点x到数据集中每个点的距离，首先计算距离，使用欧氏距离

下面写代码：

在求出距离列表之后，我们要找到最小的距离，需要进行一次排序操作。其实不是简单的排序，因为我们把只将距离排大小是没有意义的，我们要知道距离最小的k个点是在样本集中的位置。

这里我们使用函数：np.argsort(array) 对一个数组进行排序，返回的是相应的排序后结果的索引

选k值

然后我们选择k值，这里暂定为6，那就找出最近的6个点（top 6），并记录他们的标签值（y）

决策规则

下面进入投票环节。找到与测试样本点最近的6个训练样本点的标签y是什么。可以查不同类别的点有多少个。

将数组中的元素和元素出现的频次进行统计

得到预测的y值是1

自实现完整工程代码

我们已经在jupyter notebook中写好了kNN算法，下面我们在外部进行封装。

相关代码可以在 https://github.com/japsonzbz/ML_Algorithms 中看到

现在我们就完成了一个sklearn风格的kNN算法，但是实际上，sklearn封装的算法比我们实现的要复杂得多。

sklearn中的kNN

代码

对于机器学习来说，其流程是：训练数据集 -> 机器学习算法 -fit-> 模型 输入样例 -> 模型 -predict-> 输出结果

我们之前说过，kNN算法没有模型，模型其实就是训练数据集，predict的过程就是求k近邻的过程。

我们使用sklearn中已经封装好的kNN库。你可以看到使用有多么简单。

        参数

        我们研究一下参数：

•                 n_neighbors: int, 可选参数(默认为 5)。用于kneighbors查询的默认邻居的数量
•                 weights（权重）: str or callable(自定义类型), 可选参数(默认为 ‘uniform’)。用于预测的权重参数，可选参数如下：
•                 uniform : 统一的权重. 在每一个邻居区域里的点的权重都是一样的。
•                 distance : 权重点等于他们距离的倒数。
•                 使用此函数，更近的邻居对于所预测的点的影响更大。
•                 [callable] : 一个用户自定义的方法，此方法接收一个距离的数组，然后返回一个相同形状并且包含权重的数组。
•                 algorithm（算法）: {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, 可选参数（默认为 ‘auto’）。计算最近邻居用的算法：
•                 ball_tree 使用算法BallTree
•                 kd_tree 使用算法KDTree
•                 brute 使用暴力搜索
•                 auto 会基于传入fit方法的内容，选择最合适的算法。
•                 注意 : 如果传入fit方法的输入是稀疏的，将会重载参数设置，直接使用暴力搜索。
•                 leaf_size（叶子数量）: int, 可选参数(默认为 30)。传入BallTree或者KDTree算法的叶子数量。此参数会影响构建、查询BallTree或者KDTree的速度，以及存储BallTree或者KDTree所需要的内存大小。此可选参数根据是否是问题所需选择性使用。
•                 p: integer, 可选参数(默认为 2)。用于Minkowski metric（闵可夫斯基空间）的超参数。p = 1, 相当于使用曼哈顿距离，p = 2, 相当于使用欧几里得距离]，对于任何 p ，使用的是闵可夫斯基空间。
•                 metric（矩阵）: string or callable, 默认为 ‘minkowski’。用于树的距离矩阵。默认为闵可夫斯基空间，如果和p=2一块使用相当于使用标准欧几里得矩阵. 所有可用的矩阵列表请查询 DistanceMetric 的文档。
•                 metric_params（矩阵参数）: dict, 可选参数(默认为 None)。给矩阵方法使用的其他的关键词参数。
•                 n_jobs: int, 可选参数(默认为 1)。用于搜索邻居的，可并行运行的任务数量。如果为-1, 任务数量设置为CPU核的数量。不会影响fit
  

        方法

        对于KNeighborsClassifier的方法：

        方法名含义fit(X, y)使用X作为训练数据，y作为目标值（类似于标签）来拟合模型。get_params([deep])获取估值器的参数。neighbors([X, n_neighbors, return_distance])查找一个或几个点的K个邻居。kneighbors_graph([X, n_neighbors, mode])计算在X数组中每个点的k邻居的（权重）图。predict(X)给提供的数据预测对应的标签。predict_proba(X)返回测试数据X的概率估值。score(X, y[, sample_weight])返回给定测试数据和标签的平均准确值。set_params(**params)设置估值器的参数。

        0xFF 总结

        在本文中我们了解了第一个ML算法kNN，kNN凭借着自己朴素成熟的特点成为机器学习的敲门砖。

        然后我们学习了kNN算法的流程，并且在jupyter notebook上手动实现了代码，并且在外部也进行了封装。最后我们学习了sklearn中的kNN算法。

        虽然我们自己实现了一个机器学习算法，但是它的效果怎样样？预测准确率高不高？我们在机器学习过程中还有哪些需要注意的问题呢？