生命结果的可预测性-猜猜我们无法预测一切
简介： 无论是试图预测弱势儿童的生命结局，还是要在最需要呼吸机的地方进行建模，都需要谦虚一点。正如这项研究表明的那样，最好的数据和最广泛的团队未能在关键的预测上失败。弄错模型，或更重要的是，以错误的方式使用它会伤害我们所有人。
https://xkcd.com/2289
阿基米德曾有句著名的话：“给我足够长的杠杆和支撑它的支点，我将推动世界前进”。如果阿基米德曾经是一名数据科学家，他可能会说“给我足够的数据，我会告诉你世界的状况”。当然，如果他说他错了。
但这并没有阻止社会科学家收集大量数据并运用数据科学技术来尝试预测大问题的答案，例如我们能否说出某人的生活会如何。
如果这似乎是一个荒谬的目标，请坚持我，因为160个独立的受过良好教育的社会科学家团队就是这样做的。项目设置和可用数据都非常合理。结果不是很好。
所有这些都出现在2020年3月30日发布的最新PNAS论文“ 用科学质量测量生命结局的可预测性... ”中。
该研究依赖于非常广泛的数据集，“脆弱的家庭和儿童福祉研究”。使用来自2000年出生年份的队列，并在随后的15年中广泛跟踪儿童及其家庭，数据集包含一个单一未识别城市中从未婚家庭中选择的4
目的是确定数据是否可用于预测部分或全部这些生命结局：
他们家庭的总体贫困水平。
孩子的GPA。
他们在学校的“毅力”或自我报告的毅力水平。
家庭将被驱逐的可能性。
工作训练。
失业。
作者并不害羞地指出，如果可以对这些模型进行精确建模，它们就可以用于确定有风险的家庭，确定社会僵化程度（一旦穷人总是穷人），并专门用于指导政策制定（又称税收资源的分配）。
他们说对了
项目设计是合理的。所有接受的160个团队都接受了相同的培训数据，但没有任何保留数据。结果根据单一指标R ^ 2进行评分，所有保留的数据评分均由中央控制团队进行。
他们还说对了，得出的结论是，六个目标问题中没有一个可以足够准确地回答而有用。
参与团队使用了各种各样的技术，从简单的线性和逻辑回归到更为复杂的技术和模型。最好的与最差的160个提交之间的差异小于从最好的提交与坚持的事实之间的差异。这些模型在相互预测方面比在预测真相方面更好。
毫不奇怪，简单的模型常常比最复杂的模型更准确。
他们得出的结论以及我们为什么要担心
这些作者及其160位团队合作者都是好人。他们得出结论，我们应该非常谨慎，因为使用AI / ML的光泽甚至可以给出准确度，也可以通过分析最好的数据来得出因果关系或可预测性的结论。
坏消息是，作者使用这些相同的数据来识别750多种发表的期刊文章，在本研究表明找不到统计有效性的情况下，所有这些文章都声称得出了有效的结论。
作者还坦诚地拒绝使用用于各种社会和正义决策的类似模型，例如用于预测累犯，保释的算法以及用于儿童保护服务的算法。
模型的风险–我们都需要记住的
我们大多数人在学习初期就搞砸了《泰坦尼克号幸存者》数据集，这是一个很好的教训。数据集很小。有很多缺失的值。准确率超过80％的情况很少见。
回顾像这样的遥远的历史事件，这是无害的。但是我们应该吸取的教训是，建模的不准确性意味着在将结果解释为当前行动（如计划救生艇或分配任何其他资源）的基础时，需要格外小心。
尽管我们使用模型来识别最有可能购买某物的特定个人，但除了因做错而造成的少量利润损失外，没有太多危害。但是，您已经在电视上看到许多模型针对日冕病毒进行开发，并且已经将其用于近乎实时地计划和分发关键资源。
泰坦尼克号数据集的20％的错误率不会使任何人退缩。20％的错误率（在医疗保健中为假阳性或假阴性）都可能并且确实确实意味着呼吸机不会在需要时出现。
正如标题中XKCD漫画背后的作者Randall Munroe在此示例中所指出的那样：“请记住，模型并不是要告诉您事实，而是要探索动态”。
基于新数据或快速发展的数据的模型是分配资源的危险赌博。当像Corona Virus一样有许多竞争模型时，选择正确的模型还很不清楚。

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！