使用无监督学习来提高预测性能
尽管无法实现，但预测未来的吸引力还是很容易理解的。但这并没有阻止整个分析公司出售这种承诺。它还说明了尝试提供有关未来的部分，不精确和概率信息的多种方法。
即使它们可以传递水晶球，这种能力显然也会对人类生存的各个方面产生巨大的影响。实际上，即使朝这个方向迈出的微小步伐，对整个社会以及特定行业和其他实体也具有重大影响。   
预测方法中的主要方法是回归（线性和逻辑），通常会针对特定环境进行高度调整。但是，还有许多其他功能，包括深度学习，支持向量机和决策树。
这些方法中的许多方法都以二进制（获胜者和失败者）或数值（点差）的形式，输出特定数量的估计值，例如股票价格，运动竞赛或选举的结果。 。有时输出甚至带有不确定性的估计，例如在政治民意测验中经常引用误差幅度。现有方法显然具有价值，但是此帖子涉及两个方面：
对于我们 真正 想知道的事情，预测并不总是理想的
预测通常会得到增强，有时通过与无监督的学习技术相结合而得到实质性的增强
让我们从第一个前提开始，在某些情况下预测可能不是正确的技术。
预测方法的输出通常用作优化算法的输入。例如，股票价格预测通常用于投资组合优化，体育比赛结果预测用于优化投注组合，选举投票的结果则用于确定政党在支持各种候选人方面的选择。有许多强大的优化方法，应用通过这些方法获得的预测信息通常是一个简单的过程。但是，为了使用它们，要求以 一个定义明确的 目标函数 开始，可以将优化方法应用于该目标函数以使其最大化或最小化。  
这就是挑战。
在许多情况下，尚不清楚什么定义了良好的目标函数。此外，我们尝试为定义不明确的目标函数创建代理会使情况变得更糟（例如，有时我们选择易于定义和计算的函数，但是这样做并不好，只是使其变得简单而已） ）。让我们考虑一些示例：
我们不知道目标函数： 政党通常将自己视为优化总体社会福利，但实际上，我们很难用一个数字来量化社会福利。例如，人们可能认为人均收入是合理的代表。另一方面，即使在每个人的收入都增加的情况下，收入的不平等也可能减少社会福利。尽管人们对此的看法可能与其政治取向有关，但我们根本不知道答案。同样，航空公司可以优化每位乘客的美元成本，从而减少每位乘客的空间并减少航班安排的灵活性。从数学上讲，完全专注于成本会更容易，但是从长远来看，以增加收入为目标来优化客户体验可能会更好。再次，没有明确的答案。。
我们对目标功能 持不同意见：假设我们正在尝试优化个人的健康状况。一个人可能会觉得最大化预期寿命的目标功能是完全合适的。这样的目标函数很容易在数学和统计上获得。另一方面，另一个喜欢啤酒的人不会觉得完全专注于预期寿命的目标功能适合他/她，因为喝啤酒会降低（略微）降低他或她的情况预期寿命。寿命可能较短的折衷与喝啤酒的乐趣之间的折衷非常适合该人。
我们最关心的是最大程度地减少不良后果：  在许多情况下，对于我们来说，找到最佳策略并不重要，因为它可以确保确保不会发生任何灾难性的事情。在金融投资组合管理中，如果要与即将退休的客户一起工作，那么避免重大损失可能比优化增长更为重要。同样，如果要治疗患有心脏病的患者，则优先考虑的是避免灾难性后果（例如感染和/或死亡），而不是优化住院时间或将费用降至最低。
在所有这些情况下，当目标函数的作用不清楚或有争议时，预测的概念将变得更加困难。  
因为我们无法定义目标函数，所以我们不能仅依靠优化技术来解决我们面临的问题。这意味着我们需要退后一步，更好地了解我们的数据，以便引导自己取得更好的结果。
这就是无监督学习的地方。
无监督学习使我们能够探索各种目标函数，找到使目标函数适应个别情况的方法，并寻找可能的灾难性结果。  
这些任务无法通过输出为单个数字的方法来解决。相反，它们需要一个输出，可以与之交互来寻址它们，因此比简单的二进制或数字输出具有更多的信息和功能。同样重要的是，我们使用的方法可以让数据进行对话，因为否则我们的自然倾向就是验证我们已经相信的真实情况，或者支持我们已经决定的目标函数，或者决定我们已经确定了解分析中所有相关因素是什么。
在许多方面，这是在无人监督的方法中未得到充分认识的美。
好的，到目前为止我们已经建立的是：
预测需要数字目标函数
由于多种原因，可能很难实现目标函数
无监督学习可以通过提供对数据结构的更多洞察来帮助定义目标函数
那么，这种无监督方法需要哪些功能？
定义和分析数据集的子群体： 在分析各种目标函数的影响时，至关重要的是了解它们对数据中不同亚群的影响。例如，某些政府政策对各种人群的影响可能大不相同。某些政府政策处方可能会整体上改善总体人口，但对某些亚人群而言却是灾难性的，因此应予以拒绝。在许多情况下，数据集的子种群或分类法没有提前定义，而是需要发现。因此，重要的是，无监督方法应提供发现亚种群和分类法的技术。对于较早发现的情况（即我们不了解或不同意目标功能的情况），此功能非常重要。
数据中“弱信号”的位置： 当我们专注于最大程度地减少不良结果时，通常会在过去的数据中将那些非常严重的结果显示为异常结果或很少发生的结果（我们称之为微弱信号），然后逐渐增长随着时间的流逝而变得更强大。在许多预测方法中并未捕获到这种情况，因为较强的信号会淹没这些方法输出中的较弱信号。所需要的是一种进行系统的异常检测的方法，并且该方法足够丰富，可以在一个输出中同时包含强信号和弱信号。简单的数值方法不具备此功能。通常，它需要一种既可以分析数据集又可以进行数据搜索的方法。
随时间进行无监督分析： 当然，有关数据集的时间信息在任何类型的预测中都起着至关重要的作用。通常使用代数回归方法将其合并，但是对于我们正在讨论的问题类型，在无监督的分析中了解时间相关行为非常重要。例如，总体中，总体可能会随着时间的推移而增加或减少，它们可能会分成较小的人群，也可能会合并。这种信息对于基于无监督信息进行任何类型的预测和优化很重要。
当我们能够应对这些挑战时，预测的性能将得到实质性的改善。
例如，我们正在与一家主要制造商合作，解决对他们特别有价值的问题。它们制作非常复杂的小部件，而失败率至关重要。每0.01％的变化都会带来数千万美元的底线影响。他们的预测能力已被挖掘出来，不再产生有价值的信息。通过采用无监督方法，该公司确定了一条关键信息，即存在许多不同类型的故障，并且这些故障在整个工厂中分布不均。这使他们能够立即采取措施来提高故障率。
那么，有哪些技术可以创建这种一两种无监督学习和有预测性的学习方式呢？
无监督分析的概念很多，包括聚类，主成分分析，多维缩放和拓扑数据分析（TDA）图模型。  
TDA模型具有迄今为止最丰富的功能，并且毫不奇怪，这就是我们在工作中使用的模型。它们包括上述所有功能。TDA从对数据集 X 的相似性度量开始，然后为 X 构造一个图，该 图充当它的相似性图 或 相似性模型 。图中的每个节点对应于 X的子集合。与位于图结构中彼此远离的节点中的对相比，位于同一节点或相邻节点中的点对彼此更相似。图形模型当然可以可视化，但是它还有很多其他功能。
分割： 从图结构中，人们可以将 X的分解构造为分段，从仅包含合理相似的数据点的意义上讲，每个分段都是连贯的。这可以基于图论的思想手动或自动完成。
按数量或组着色： 假设我们有一个数据集，配备有 我们可能感兴趣的特定数量q ，例如生物医学数据集中的生存时间或财务数据集中的收入。然后，我们可以通过 为附加到该节点的组中X中所有数据点的q 值的平均值形成一个值，从而为每个节点附加一个值。通过为q的值分配色阶，我们获得了图形模型的着色，这使人们对q的行为有了更多的了解。 。这是一个例子。下图是一个数据集的模型，该数据集包含大约200份针对一项调查的答复的询问，这些询问涉及各种主题，包括对社会机构的信任，右/左政治偏好以及各个群体的成员身份。它以关于受访者右/左政治偏好的答案（从1到10的比例）上标，低数（蓝色）对应左偏好，大数（红色）对应右偏好。   类似地，如果在X内具有预定义的组G，则可以为v分配给每个节点v对应于v的点的百分比，这些点也属于G
，并为该百分比设置颜色代码。以下是我们在上面看到的同一张图，但现在按属于工会的受访者所占百分比进行了着色（红色为集中工会会员身份）。  这样可以了解组G在X中的分布，这在设计目标函数时可能非常有用。例如，人们可以观察到，工会会员的高浓度与通过按右/左偏好进行着色而获得的最暗的红色区域不重叠。  
异常和微弱的信号： TDA模型具有表面现象的能力，这些现象程度较小且影响相对较小。例如，一个人可能会发现一小部分人，他们的收入比其他人大，但他们的概况与他们的相似。他们的收入相对于数据集的所有成员而言可能不是很高，但是在模型中他们比他们的“邻居”要高的事实可能非常有趣。同样，可能会看到少量的信用卡交易看起来与以前观察到的交易不同，但彼此之间非常相似，因此需要进行更多的审查-实际上，它们可能会在将来发展壮大。
解释现象： 给定 数据集X中的组G ，重要的是要了解什么使该组与X的其余部分不同。可以根据统计检验来表述，以在数据集中生成特征的有序列表，以最佳地区分群体和其余人群。这是另一种在设计目标函数中非常有用的功能。
总而言之，从纯粹的数值或二进制预测的概念转变为允许人们对基础数据有更好理解的方法，以设计更好的目标函数并捕获细微而微弱的现象，这从根本上来说至关重要，非常重要。TDA提供的方法非常适合这些要求。
1