您到底有多信任您的AI?
简介: 您应该信任您的AI系统多少?最佳实践指向不断的审查,强有力的治理以及愿意覆盖似乎不合逻辑的结果的意愿。
您到底对AI有多信任?这并不旨在成为消费者对偏差或黑匣子结果的怀疑态度。旨在查看实际实施中的领导者是否通过广为人知的玫瑰色眼镜看到AI,或者是否以及是否认为他们值得怀疑。
作为消息来源,我喜欢由许多不同供应商发布的关于AI采用率的非常专业的调查。通常,他们会尝试覆盖很多领域,以支持AI可以或将要多么出色。但是,并非总是会出现一个重要的信息,只需查看狭窄的响应集就可以得出一个重要的信息。本文的来源是SAS,英特尔,埃森哲,福布斯联合发表的白皮书,题为“ AI动量,成熟度和成功模型 ”。
这项研究对300多名高管的回应的研究尤其值得称赞的是,他们都深深地参与了C级或接近C级的大型公司(CDO,CAO,CTO,Analytics EVP和喜欢)。它们代表了良好的全球性,无论是地理位置还是业务类型。而且,他们似乎对自己的组织是否完全接受AI以及如何准确地了解到目前为止的成功或失败程度进行了自我评估。
正如研究中的这张图所示,实现成熟度是全方位的。
研究作者通过对比最成功者和不太成功者的回答,极大地帮助了我们。然后,通过观察这两个群体之间差异最大的响应,希望这表明最佳实践将被广泛采用。
这是惊喜
最成功的AI实施的领导者准备对结果最怀疑。
这并不是说他们低估了从这些实施中获得的经济利益,或者不是对他们的旅程充满热情。相反,他们实施了治理程序,该程序不断审查AI结果的准确性和益处。
在较早的文章中,我们关注以下事实:改进的模型性能并不一定意味着改进的业务影响。多亏了Bookings.com分享的详细数据,他们观察到,在对26个最新模型结果的定期审查中,有42%的模型结果有所改善,但实际上却导致了业务成果的下降。显然,持怀疑态度是必要的,需要治理。
撇开未定的答案,有30%的受访者表示,由于结果可疑或不令人满意,他们不得不重新考虑,重新设计或覆盖整个基于AI的系统。
最先进,最成功的AI实施者以近乎2比1的比率表示,他们已经制定了治理实践来覆盖AI系统的可疑结果,并至少每周进行一次审查。
也许更能说明问题的是,大多数受访者表示,他们是监督审查过程的高管人员。
所有受访者的审查频率也很明显。
每小时5%的评论结果
每天有18%的审核结果
每周31%的审核结果
请注意,在上图中,最成功的实施者中有74%的人至少每周审查一次,而整个研究则为54%。
只有4%或所有受访者表示,他们几乎从未审查过AI系统的结果。
SAS业务战略总监Kimberly Nevala在研究中指出:“如果AI直接影响您的客户或使关键运营决策自动化,您不能认为数据是正确的,那么模型就可以正常工作,并且结果结果将达到预期。随着组织沿着AI道路前进并看到这些非常正面和负面的影响-他们正迅速采取行动以进行下一级别的监督。
最佳实践
这项研究的结果以及Bookings.com的共享工作表明,组织必须谨慎接受AI系统的结果。需要制定正式的治理程序,并且必须将审查推进到最高管理层。用长臂猿不朽的话来说,信任但要验证。

关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!