2020/01/25
《百面机器学习-算法工程师带你去面试》读书笔记
《No.24: p220~p233》第九章 前向神经网络

Q82 批量归一化的基本动机与原理为何? 在卷积神经网络中如何使用?

1        归一化基本动机
1.1        对数据分布进行额外的约束，从而增强模型的泛化能力。
1.2        但会降低模型的拟合能力。
1.3        批量归一化方法: 针对每一批数据，在网络的每一层输入之前增加归一化处理(均值为0、标准差为1)
1.4        批量归一化在卷积网络应用时，应注意卷积网络的参数共享机制，每一个卷积核的参数，在不同位置的神经元当中是共享的，所以应该被一起归一化。

Q83 卷积操作的本质特性包括稀疏交互和参数共享，具体解释这两种特性及其作用?

1        稀疏交互(Sparse Interaction)
1.1        传统神经网络，网络层之间输入与输出的连接是全面的，任意一对输入与输出神经元之间都产生交互。
1.2        卷积神经网络，卷积核尺度远小于输入的维度，输出与输入的交互会减少，这种特用性称为”稀疏交互”。
2        参数共享(Parameter Sharing)
2.1        参数共享是指在同一个模型的不同模块中使用相同的参数，它是卷积运算的固有属性。
2.2        只需要学习一组参数集合，而不需要针对每个为的美个参数进行优化，可大幅降低模型对于存储的需求。

Q84 常用的池化操作有哪些? 池化的作用为何?

1        池化操作的种类:
1.1        均值池化(mean pooling): 通过对邻域内特征数值求平均来实现，可以抑制由于邻域大小受限造成估值方差增大的现象，特点是对背景的保留效果好。
1.2        最大池化(max pooling): 通过取邻域内特征最大值来实现，可抑制网络参数误差造成估计均值偏移的现象，特点是更好的提取纹理信息。
2        池化的作用
2.1        降采样，可显著降低参数的数量
2.2        保持平移、伸缩、旋转操作的不变性。

Q85 卷积神经网络如何用于文本分类任务?

透过输入层、卷积层、池化层、输出层，互相关联后用Softmax激活函数输出每个类别的概率。

Q86 ResNet地提出背景和核心理论为何?

1        ResNet，深度残差网络(Deep Residual Network)。
2        ResNet提出的背景是因为要解决或缓解深层的神经网络训练中梯度消失的问题。
3        理论: 如何某一层的输出已经较好的拟合了期望结果，就直接将该层的输出接到两层之后，只需要拟合上层输出和目标之间的残差即可。