模型透明度和基于模型的学习与无模型学习的复杂性
简介：   高风险模型，例如那些将稀缺资源分配给竞争医院的模型，是头条新闻。针对基于模型的学习与无模型的学习进行对比的新思维正在出现，用以描述在构建或评估这些模型之前必须考虑的新条件。
至此，我们都已经熟悉了有关模型透明性的讨论。无论这是出于对理解的常识性渴望还是像金融领域一样由监管驱动，这似乎都是一个相当简单的目标。
在监督模型构建的情况下，我们几乎每个人在模型中的生活偏见都假定为数据集的结果，该数据集不能真正代表整个人口。有时，我们可能会遇到一个示例，其中该模型所代表的决策过程存在缺陷，但这很少见。
我们最近写了关于使用模型的危险，其中对个人或群体的影响可能会改变生活。这不仅仅是决定谁获得促销或特价。这与谁获得保释金或哪些医院获得多少口罩和呼吸器有关。
好消息是，我们大多数人可能永远都不会处于必须建立或捍卫具有如此广泛影响的模型的位置。坏消息是，我们对模型的构建越了解，数据科学越先进，对“让机器决定”的渴望就越大。
在这个现代时代，我们的成长仍然使我们认为机器不会犯错误。它们是为执行其功能而构建的，与人类不同，它们每次都将完美地执行该任务。复杂的是，我们陷入了这样的信念，即AI只是一台总是会给出正确答案的机器。
实际上，它应该始终给出相同（或一致）的答案。但是，我们都相信答案是“正确的”吗？尤其是当模型分配稀缺资源时。
规划道德AGI
幸运的是，有人对此进行了思考。克里斯托弗·伯（Christopher Burr）和杰夫·基林（Geoff Keeling）撰写的这篇论文：“ 学习和思考道德的建筑机器 ”是一个很好的起点。
这方面的背景是针对AGI（人工智能）的计划。在那些试图使计算机像人类一样学习和思考的人之间，以及那些认为通过允许计算机发现解释大多数行为的某些启发式规则可以更简单地获得相同结果的人之间，世界仍然存在分歧。
AGI已经有很多年了，但是就像自动驾驶汽车一样，它最有可能从增强到完全自主的阶段到达。Burr和Keeling试图找出一些问题和方法来研究AGI较为棘手的方面之一。也就是说，我们是否同意AGI实体提供的答案会很好？在这种情况下，需要将善意理解为道德或伦理上的定性。
现在这很重要的原因是，我们进入了一个时代，在这个时代，我们呼吁采用模型来指导具有强烈道德或伦理影响的决策。顺便说一句，“道德”和“道德”都被定义为描述“正确的行为”，这立即暗示了一个主观成分。
为什么数据科学家应该关心
从数据科学的角度来看，引起我注意的方面是基于模型的学习与无模型的学习之间的区别。这些短语开始出现在我们的文学作品中，因此我们在这里使用这个主题来阐明一些观点。
这些术语来自强化学习，代表了两种相互竞争的实践流派。基于模型的RL系统首先需要详细了解其环境，进而了解其局限性和功能。无模型的RL系统仅允许该系统执行反复试验的操作，直到找到解决方案为止。不需要完全理解模型的限制；RL会最终解决。
在人类学习领域，这两个术语也代表着关于人类如何学习的两个原始主义学派。基于模型的学校认为，人类婴儿配备了“启动软件”，该软件可以快速（比今天的RL更快速）将世界经验组织成成功的行为，并在不同情况之间转移学习。
没有模特儿的学校说不需要模特儿。婴儿通过简单的启发式学习，并且受身体能力和局限性的指导。例如，如果您只有两只手，则不要尝试寻找需要三只手的解决方案。或者更简单地说，重力会下降。
对于一般的数据科学家来说，这似乎都太抽象了，但这就是有趣的地方。两种人类学习流派正在逐渐趋同于一种理解，即基于模型的和无模型的两种类型共同起作用，而一种类型有时比另一种类型更占优势。
回到模型制作
如果要求您建立或评估“高风险模型”，那么Burr和Keeling表示您应该牢记一些注意事项。
基于模型的系统从一开始似乎就比较优越，但是不断适应不断变化的环境的要求使系统处于感知（获取有关环境的信息），建模（构建丰富的重构表示），计划（行动过程）的循环中。达到目标）和行动。SMPA循环的计算量很大，导致时间成本或准确性成本需要与环境变化的速度进行权衡。
基于更简单的启发式方法的无模型系统在变化的环境中进行训练的速度更快，但可能无法将学习成果很好地转移到狭窄的领域之外。但是，不需要模型的“ 道德代理人”就可以将社会规范内在化，以确保其行为符合某些道德标准，并且有可能与简化的世界模型（甚至可能是一套很好的世界模型）调整启发式）），当某些机构充当法规约束时。”
需要一种在两种方法之间解释或协商的机制。该机制尚未定义，但是作者指出需要两个模型并行运行（大概在资源和时间允许的情况下）。这是数据科学家模型构建者面临的挑战。
回到偏见和透明度
在这些高影响力的情况下，透明性的更大问题是认识到每种方法的局限性，并准备使用示例说明为什么达到了模型的建议，并由此扩展了为什么我们应该认为这是“正确的行动”。
作者总结了这两种方法之间的冲突状态。我们实际做出道德决策的方式经常与启发式方法有关，而不是理想模型。例如，如果受影响的人离我们很近，而不是在世界的另一端，那么我们更有可能采取行动来修复或挑战不公平的行为。然而实际上，在两种情况下，道德/伦理决策都需要采取正确的行动。因此，设计主要依赖于无模型启发式的AI可能会导致其始终做出次优的道德决策。
而且，当情况新颖时，强调无模型启发式算法的系统不太可能达到可接受的解决方案。
但是，基于模型的“理想推理机”系统无法识别我们在道德决策中实际使用的不完善的启发式方法，因此似乎对许多人有偏见。例如，在许多此类决策中很容易发现“组内/组外”偏见。普遍一致的解决方案似乎在偏向“入组”，尽管实际上消除了对“出组”的偏见。
在评估道德决策时，我们严重依赖示例来解释为何做出决策。因此，无需多说，模型的风险越高，要求的透明度就越高。
我们在此要解决的悬而未决的挑战是，未来的数据科学家如何构建这些双重人格模型并平衡其结果，以便尽可能多的人同意该结果是“正确的行动”。

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！