对卷积神经网络如何学习以及如何学习的更多见解
这项工作的意义可以概括如下：
它使我们可以了解神经网络如何执行分类任务。
它使我们能够观察网络如何学习
它使我们能够了解深度网络中各个层在检测到的内容方面有何不同
在这篇文章中，我们展示了人们如何将这种理解用于实际目的。 在讨论我们发现的其他三个发现的同时，我将以我和里卡德·加布里埃尔森所做的工作为基础。那些是：
来自持久同源性的条形码长度如何用于推断CNN的准确性
我们的发现如何从一个数据集推广到下一个数据集
使用持久同源条形码方法如何定量测量数据集的定性本质
我们需要回顾上一篇文章中的一些想法。引入的想法之一是使用 持久性同源性 作为测量数据形状的工具。在我们的示例中，我们使用持久性同源性来测量圆形的大小和强度或“明确定义”。
我们首先回顾一下持久同源性的概念。持久性同源性会为任何数据集和维度分配一个“条形码”，它是间隔的集合。在维度= 0中，条形码输出反映了数据集分解为簇或组件的情况。  
在聚类中，可以选择一个阈值，如果任意两个点之间的距离小于此阈值，则可以通过边连接任意两个点，然后计算结果图的连接部分。当然，随着阈值的增加，将连接更多的点，并且我们将获得更少的群集。条形码是跟踪此行为的一种方式。下图说明了它是如何工作的。  
在左侧，我们有一个数据集，可以自然分为三个等距的簇。条形码反映了在三个条形的情况下，条形仅比特定阈值长一个，这取决于簇之间的距离。条形图代表初始簇，其中两个条在簇合并的阈值处切除。在右边，除了簇不是等距的，我们有类似的情况。在这种情况下，我们从三个小节开始，因为在精细的分辨率下，存在三个簇。在大约等于左侧阈值的阈值下，我们看到两个相邻的群集合并为一个群集，并且我们正在查看两个群集一段时间。第一个条形相对较短，而其他两个条形较长，这在条形码中得到了体现。
对于更高的维数，持久性同源性度量的是除簇分解之外的几何特征的存在。在维数= 1的情况下，条形码可测量数据集中是否存在回路。
在左侧，条形码由一个长条和一些短得多的条组成。长条反映了一个圆的存在，而较短的条则是由于噪音而出现的。在右边，我们再次有对应于噪声的短条和两个不同长度的长条。这些条形图反映了两个环的存在，并且条形的不同长度对应于环的大小。条的长度也可以反映出循环的“明确定义”。
让我们看一下这些图像以更好地理解它们。
在左侧，我们有一个定义明确的循环及其条形码。在右侧，已将一些噪声添加到环路中，从而使噪声更加分散，清晰度降低。右边的最长条比左边的短条。最长条的长度因此可以反映出循环的轮廓分明。  
推断CNN的准确性
在较早的文章中，我们看到从Ayasdi的软件获得的“环状”形状实际上是通过条形码中存在单个长条来确认的。现在，我们想了解随着训练的进行，环形形状如何演变。  
我们通过检查条形码中最长条的长度（可以在训练的任何阶段进行计算）与该点训练的准确性之间的相关性来实现这一目标。我们进行这些计算了两个数据集， MNIST 和门牌号码，被称作第二数据集 SVHN。  
结果如下：
左侧是MNIST，右侧是SVHN。在 X -轴记录在学习过程中的迭代次数。y轴分别在平均居中和归一化后分别记录条形码中最长条的精度或长度。
可以看到，最长条的长度与数字分类器的准确性相关。这一发现提高了我们从较早的文章中得出的观察结果的准确性。在那里，我们仅观察到，在训练之后，我们在条形码中看到了一个长条，而现在我们观察到随着训练的进行，条的 长度 （因此圆的轮廓清晰）不断增加。  
跨数据集归纳
第二个发现涉及从一个数据集到另一个数据集的概括过程。具体来说，我们训练了基于MNIST的CNN，并检查了将其应用于SVHN的准确性。我们使用三种不同的方法进行了培训。
标准CNN的标准程序
通过将第一个卷积层固定为随机高斯来训练网络
通过将第一个卷积层固定为MNIST中发现的主圆的完美离散化来训练网络
当我们这样做时，我们发现在三个单独的案例中，案例（1）的SVHN预测准确性为10％，案例（2）的为12％，案例（3）的为22％。当然，所有这些数字都是低精度数字，但是结果表明，将第一卷积层固定为完全由主圆模型的点组成，可以显着改善从MNIST到SVHN的泛化。有比主要圈子更复杂的模型可以包括并且期望在归纳中找到进一步的改进。
测量变异性
第三个发现涉及检查两个数据集的变异性。定性地，我们可以确定SVHN比MNIST具有更大的可变性。反过来，我们期望SVHN提供更丰富的数据集和更精确的权重数据集。实际上，SVHN的持续时间间隔明显比MINST的持续时间间隔长（1.27对1.10）。这从上方进一步证实，在生成的圆模型的“良好定义性”与神经网络的质量之间存在很强的相关性。
加起来
拓扑分析在这种类型的分析挑战中有用的原因在于，它提供了一种 将 复杂数据集压缩为可理解且可能可行的形式的方式。在这里，与许多其他数据分析问题一样，至关重要的是要了解数据中的“频繁出现的图案”。上述观察结果表明，拓扑分析可用于获得对CNN的学习和泛化能力的控制和理解。这些方面还有许多其他想法，我们将在以后的文章中讨论。
题库