全部版块 我的主页
› 论坛 › 数据科学与人工智能 › 人工智能
265 0
2026-06-23

去年某个随性的周六,我向 ChatGPT 提了一个十分简单的问题:“2025年诺贝尔物理学奖得主是谁?”

ChatGPT 立刻给出了回答,详细列出了获奖者姓名、研究领域,甚至还解释了他们获奖的具体科研成果。

但这里存在一个致命问题:彼时2025年的诺贝尔奖尚未公布。可模型没有丝毫犹豫、没有片刻迟疑,更没有如实告知“信息不足”或“2025年奖项暂未揭晓”。

相反,它无比笃定地输出了一段虚构内容,语气坚定得如同在答辩博士论文。我自己也曾博士答辩过,真希望我临场也能拥有大模型一本正经编造事实的底气!

人类有一个典型认知惯性:习惯性将置信度等同于正确率。如果一个人说“答案大概是42”,另一个人笃定地说“答案绝对是42”,即便两人的判断都有可能出错,我们也会本能地更相信后者。对人类而言,语气坚定、置信度高,往往是判断结果可靠的信号。

但对AI系统来说,置信度是极具欺骗性的参考指标。

本文将深度拆解背后的核心原因。

一、我们误以为:置信度 = 真实概率

假设我们让大模型识别图片中的动物,模型输出如下结果:

Cat: 0.97
Dog: 0.02
Bird: 0.01

绝大多数人会直观理解为:模型有97%的把握判定这是一只猫。

这看似合理,却完全误解了模型置信度的真实含义。需要明确的是,绝大多数AI模型都会通过 Softmax 激活函数 生成预测结果。

Softmax 的作用是将模型原始输出的对数概率(Logits)归一化为总和为1、形似概率的数值。而该函数中的指数运算特性,会让微小的原始数值差异被急剧放大。

这意味着,模型输出的97%置信度,并非代表“有压倒性证据证明这是猫”。其真实含义大概率只是:在当前所有候选选项中,“猫”这一选项的得分微弱领先。

这两种解读,本质天差地别。

二、人类与AI对“不确定性”的处理逻辑截然不同

人类可以坦然接受不确定性,并擅长表达不确定状态。

我们日常交流中经常会说:“我可能错了”“我基本确定”“也许是这样”“我个人认为”。人类的置信度是连续、可变、有梯度的。

但AI模型的表现,像极了小组作业里那种三分钟看完知识点、就敢自信爆棚给所有人讲解的同学(相信大家身边都有这类人)。

你告诉大模型“我认为法国首都是巴黎”,它会回复“巴黎是法国首都,置信度99.8%”;你告诉它“我认为亚特兰蒂斯是虚构的”,它却会输出“亚特兰蒂斯位于葡萄牙以西约400英里海域,置信度98.7%”。

两件事一件正确、一件荒谬,但在大模型的判定逻辑里,二者的输出置信逻辑完全一致。

三、典型问题:自信式谬误(自信傻瓜困境)

这就催生了AI领域的自信式谬误问题:模型可以在完全错误的情况下,表现得极度笃定。更危险的是:越是需要谨慎判断的未知场景,模型反而越自信。

这种问题在模型遇见训练分布外数据时尤为突出。

举个例子:假设我们训练一个猫狗图片分类模型,正常识别猫狗精准度很高。但如果输入一张烤面包机的图片呢?

人类看到从未见过的陌生物体,会坦然承认“我不知道这是什么”。但绝大多数AI模型不会。它大概率会输出:

Dog: 98%
Cat: 2%

除非你的烤面包机长了贵宾犬的外形,否则这个结果显然是彻底错误的。

出现该问题的原因远比大家想象的简单:模型从未被训练过“以上都不是”的判定逻辑。面对陌生样本,它只能在现有候选标签中,强行选出得分最高的那一个。

这就好比指着一辆自行车,逼别人回答“这是什么水果”。对方最后只能随便蒙一个答案、强行收尾:“是香蕉?”

我们可以模拟大模型的过度自信现象:

我们理想中的模型:输出90%置信度时,真实正确率约为90%。

现实中的多数模型:输出90%置信度,真实正确率仅有65%。

置信度与真实准确率的严重脱节,正是大模型训练优化需要解决的核心痛点。

四、让模型学会“诚实”:置信度校准

既然我们找到了模型“自信犯错”的根源,该如何优化,让模型置信度与真实准确率匹配?这就需要用到**置信度校准(Calibration)**技术。

校准不会提升模型的预测准确率,但能提升模型的诚实度。

经过校准的模型,90%的置信度具备真实参考意义:历史数据证明,该置信度下的预测结果,真实正确率约为90%。

行业主流校准方法包括:

  • 普拉特缩放(Platt Scaling)

  • 温度缩放(Temperature Scaling)

  • 保序回归(Isotonic Regression)

以上方法的核心目标:对齐模型预测置信度与真实结果正确率。

五、为什么置信度校准至关重要

AI把烤面包机识别成狗,我们只觉得滑稽好笑。但现实场景中,大量类似的错误并不好笑,甚至致命。

大模型已广泛应用于医疗诊断、自动驾驶、风控反欺诈、金融预测等高精度、高风险场景。

模型输出“癌症患病概率99%”与“癌症患病概率62%”,会让医生做出截然不同的诊疗决策。

一旦模型置信度校准失效,人类会盲目信任虚假的高置信预测结果。而人类天生容易被“笃定、高置信”的结论说服,即便我们明知需要理性甄别,依然很难规避认知偏差。

随着AI深度落地真实业务,我们的评判标准需要迭代:不再只问“模型准不准”,更要问“模型说90%置信度时,真实正确率真的是90%吗?”

模型聪明,和模型可信,是完全不同的两件事。

人类本身也极易过度自信:总以为两天能做完项目、不用看说明书就能组装家具、一趟就能搬完所有杂货,即便过往经验多次打脸。

或许,AI只是复刻了人类的认知陋习。但二者最大的区别在于:人类盲目自信的错误,影响范围有限;而AI的高置信错误,会被规模化放大、影响数百万用户,造成不可估量的后果。

六、结语

长期以来,我们评判AI能力的标准,始终聚焦于酷炫的能力突破:

能不能写代码?能不能生成画作?能不能通过考试?能不能逻辑推理?

这些维度固然重要,但也让我们忽略了更核心的问题:我们能否信任这个模型?

单次输出正确答案,只是亮眼的能力;持续输出正确结果,同时懂得识别自身未知、主动保留不确定性,才是真正可靠的AI。

稳定性与可靠性从不是博人眼球的热点,却是AI落地的基石。

置信度本身没有问题,真正的问题是:置信度沦为了模型的“表演效果”,而非真实确定性的量化指标。

随着AI全面渗透医疗、教育、金融、科研、决策核心链路,我们必须摒弃“置信度即真相”的误区,将其视为需要核验的预估参考值。

让模型笃定输出答案很简单,但让模型学会何时不该笃定,仍是人工智能领域最难、也最关键的未解难题之一。

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !

免费加入阅读:https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群