三向数据拆分（训练，测试和验证），用于模型选择和性能评估
训练，验证和测试数据集的使用很普遍，但不容易理解。
在这篇文章中，我试图澄清这个概念。这篇文章是我即将出版的有关基于高中数学学习人工智能，机器学习和深度学习的书的一部分。如果您想进一步了解这本书，请在Linkedin Ajit Jaokar上关注我
背景
杰森·布朗利（Jason Brownlee）对三向数据拆分（培训，测试和验证）提供了很好的解释
–训练集：用于学习的一组示例，这些示例适合分类器的参数。
–验证集：用于调整分类器参数的一组示例，例如，选择神经网络中隐藏单元的数量。
–测试集：一组仅用于评估完全指定分类器性能的示例。
然后提出一条重要声明：如果从业者选择使用k交叉验证与训练数据集来调优模型超参数，则对“验证数据集”的引用将消失。
因此，在这里，我尝试从里卡多·古铁雷斯-奥苏纳·赖特州立大学的资料来源中更详细地解释这些想法。
了解模型验证
验证技术受模式识别中的两个基本问题的激励：模型选择和性能估计
模型选择：涉及选择最佳参数或模型。模式识别技术具有一个或多个自由参数，例如，kNN分类中的邻居数量以及MLP中的网络大小，学习参数和权重。这些超参数的选择决定了解决方案的效率。超参数由用户设置。相反，从数据中学习模型的参数。  
绩效评估：   选择模型后，我们需要评估其绩效。如果我们可以访问不限数量的样本集（或整个样本集），则很容易估算出效果。但是，实际上，我们可以访问人口较少的样本。如果我们使用整个数据集来训练模型，则该模型可能会过拟合。过度拟合本质上是从训练数据中“学习噪声”。由于我们的目标是找到可以在看不见的数据上获得最佳结果的最佳模型，因此过拟合不是一个好的选择。我们可以通过使用独立于训练数据的数据评估误差函数来解决此问题。  
第一种方法是将模型分为训练和测试数据集。这是一种保留方法，您可以在其中使用训练数据集来训练分类器，并使用测试数据集来估计训练后的分类器的误差。保持方法有局限性：例如，它不适用于稀疏数据集。可以通过一系列重采样方法（例如交叉验证）来克服保持的局限性。
最后，  测试数据集  是用于对 训练数据集上的最终模型拟合进行无偏评估的  数据集。测试数据集用于获得性能特征，例如准确性，敏感性，特异性，F度量等。
放在一起
总体步骤为：
将可用数据分为训练，验证和测试集
选择架构和培训参数
使用训练集训练模型
使用验证集评估模型
使用不同的体系结构和训练参数重复步骤2至4
选择最佳模型并使用训练和验证集中的数据进行训练
使用测试集评估此最终模型1。

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！