一、        kmeans聚类
无监督学习

输入：样本集D
     聚类簇数k;
1.        从D中随机选取k个样本作为初始均值向量；
2.        遍历所有样本，找出与k个初始值距离最近的，与Ki归为一簇；
3.        得到K个子样本集合；
4.        计算每簇的均值向量；
5.        变量所有样本，距离ki最近的重新调整位置；
6.        重复以上步骤，直至位置不再发生变化。



二、        层次聚类
AGNES是一种采用“自底向上”的聚合策略的层次聚类算法。它先将数据集中的每个样本看作一个初始聚类簇，然后再算法运行的每一步中找出距离最近的两个聚类簇进行合并，该过程不断重复，直至达到预设的聚类簇个数。关键点是计算聚类簇之间的距离。
有三种距离算法：最小距离（由两个簇的最近样本决定），最大距离（由两个簇的最远样本决定），而平均距离则由两个簇的所有样本共同决定。




三、        KNN（k近邻聚类）
K近邻（K-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法。
原理：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这K个“邻居”的信息来进行预测。