揭穿Google的Death AI
在所有情况下，这些模型均优于传统的临床预测模型。我们相信，这种方法可用于为各种临床情况创建准确且可扩展的预测。
但是研究人员实际上在论文中说的是：
据我们所知，我们的模型优于医学文献中现有的EHR（电子健康记录）模型。
审阅论文后，很明显，错误的说法并非来自研究人员，而是新闻工作者/外行人的误解。从今以后，我将其称为Google的NN（神经网络），因为这种过度宣传的AI过度标记必须停止。
AUROC不是准确性
记者将Google的NN得分设为0.95，而比较的得分为0.86（请参见下面的EWS Strawman），以此来确定死亡率。但是，研究人员使用的实际度量标准是AUROC（接收器工作特征曲线下的面积），而不是预测准确性的度量，该度量对诸如RMSE（均方根误差）或MAPE（平均绝对百分比误差）之类的预测值与实际值之间的差异进行索引。 。有些文章甚至错误地试图将0.95解释为优势比。
正如重要性的概念对统计学家和非专业人士具有不同的含义一样，AUROC作为模型准确性的衡量标准并不意味着Google NN准确预测死亡率的可能性就象记者/非专业人士所认为的那样。ROC（请参阅上面的示例）是模型的误报率（即，在没有误报率的情况下预测死亡率）与真正的误报率（即正确地预测死亡率）的关系图。曲线下的较大区域（AUROC）意味着该模型产生的误报率较低，而不是记者错误提示的确定性死亡率。
研究人员自己并未宣称占卜者的能力，他们在论文中说：
...（他们的）深度学习模型将触发传统预测模型的警报数量的一半，从而减少误报。
后视是20/20
文章显示，似乎Google的NN正在积极预测死亡率，但事实并非如此。研究人员使用了来自两家医院的80％的患者记录来训练模型，另外使用10％的数据进行验证。他们的模型准确性基于对剩下的10％数据运行结果模型。换句话说，Google的NN是在已知结果的数据上进行训练的，可以对其进行优化以最大化这些结果。对于那些记录中未充分表示的条件和合并症，该模型的可靠性值得怀疑。
正如研究人员自己所说：
我们的研究也有重要的局限性。首先，这是一项回顾性研究，具有所有通常的局限性。其次，尽管人们普遍认为准确的预测可以用来改善护理水平，但这并不是一个已定的结论。需要进一步的研究来确定如何将在一个地点训练的模型最好地应用于另一个地点。
EWS Strawman比较
医院没有分配生存几率（除非我不知道的医疗专业人员中有一些病态的患者群），因此研究人员使用EWS（早期预警评分）作为比较的基准。EWS背后的想法是可以通过多种生理指标（例如血压，脉搏，氧气等）的变化来观察临床恶化。在实践中，EWS并不用作死亡率的预测指标，而是结合患者诊断/评估来理解的高危指标。
Google的NN之所以比单独的EWS表现更好（与病情不同，这不是医院的做法）的原因，很可能是因为它在患者图表中选取了与死亡率高度相关的关键术语（例如“严重创伤”）。该假设在部分案例研究中得到了部分验证，在该案例研究中，Google的NN分配了较高的死亡率（EWS为19.9％，而9.3％为EWS），因为它选择了我们常见的“恶性”，“转移性”和“癌症”等术语（见下图）知道与死亡率有关。
如果在实践中与每24小时间隔进行脱上下文诊断得分相比，在实践中进行专家评估，Google的NN是否会明显更“准确”，这是令人怀疑的。我还称其为BS，声称分配死亡率几率将改善医疗保健-医疗行业的重点是帮助患者克服这些几率，而不是接受算法上的命运。
尽管赔率很高，人们仍然遭到雷击。
有些甚至被雷击不止一次！一些文章引用了该案例研究，其中入院24小时后，Google的NN为患有乳腺癌的患者提供了19.9％的死亡机会，而EWS为9.3％。他们对病人在10天后死亡大有作为，只是因为给出的几率高出10％，以此作为Google NN准确性的指标。如果您接受这些可能性作为字面的预测能力（就像记者错误地做的那样），那么从技术上讲，谷歌的NN并没有更好，因为它使患者的生存率达到了80％，这意味着她应该可以生存。
无论是19.9％还是9.3％的机会都是没有争议的，这与分配中奖机率没有什么不同。概率不是预测-它们只是理解混乱世界的合理框架。没有数学或模型可以确定您是否会成为幸运/不幸的人。
曲线拟合
尽管进行了大肆宣传，但部署AI /大数据/什么都不是所有疾病的灵丹妙药。大多数人没有意识到准确性和过度拟合是同一枚硬币的两面-两者都会导致较高的AUROC模型。Methinks取代了Google的NN给乳腺癌患者的19.9％的赔率，而新闻记者们会更好地撰写更有意义的贡献，例如用于预测转移性乳腺癌存活率的数学模型，这项工作无需服务器和私人医疗数据就可以完成。
题库