把这三类边界划清楚,AI 在金融场景里就有了明确的"可以 / 不可以 / 必须"的规则。这套规则不需要每次重新制定,写进 system prompt 即可长期复用。
进一步说,这三类边界对应的不是"AI 的能力",而是"AI 的责任"。AI 能做某件事不代表 AI 应该做某件事——这是能力边界;AI 做了某件事但需要人工审核——这是效率边界;AI 做了某件事但必须留痕——这是信任边界。三类边界的本质区别在于"谁为结果负责"——能力边界下责任完全在 AI 但被禁止、效率边界下责任共担、信任边界下责任在 AI 但必须可追溯。把这三类责任分清楚,AI 在金融场景里的"能做什么"和"该做什么"就自然分清楚了。
第二,"中风险动作"是最容易被忽视的一档。"生成报告""发送通知"听起来不危险,但实际上 AI 生成的报告如果包含错误的投资建议,照样会误导用户;发送通知如果泄露了用户未公开的持仓,也可能造成损失。中风险动作的治理不能放松,只是"红线"可以比高风险松一些——比如中风险动作可以做,但要"有阈值 + 抽样复核"。
第三,规则的可读性比规则的完整性更重要。一个 100 条规则但 AI 看不懂的 system prompt,不如一个 20 条规则但 AI 看得懂的 system prompt。让 AI 真正理解规则的含义,比堆砌规则数量更重要。AI 不理解规则就会"字面执行"——遇到规则没明文禁止但又不能做的场景,AI 不知道该停下来。这一步可以靠"规则示例 + 边界说明"来补——每条规则后面附 2—3 个具体例子和"什么情况下要问人"的说明,让规则有血有肉。
五、关于这次分级的几个新认识
做完这次分级之后,对 AI 治理的定位有了几个新认识。
第一,AI 治理的核心不是"加多少限制",是"让 AI 知道什么时候该停下来问人"。规则再多,AI 不知道什么时候该停下来也白搭;规则少一点,但 AI 能在不确定时主动暂停,效果反而更好。所以评估 AI 治理的效果时,不能只看"加了多少条规则",要看"AI 在不确定时停下来的频率"。如果 AI 100% 按规则执行、0% 主动暂停,这种 AI 即使规则再多,遇到规则没覆盖的场景就会出问题。如果 AI 80% 按规则执行、20% 主动暂停并询问,这种 AI 即使规则少一点,遇到模糊场景也能稳住。
第二,规则要按"动作分档 + 红线 + 边界"三层来组织,而不是把所有规则堆在一起。动作分档是基础(高/中/低三档)、红线是触发器(什么情况下要暂停)、边界是说明(什么能做、什么不能做、什么是模糊地带)。三层结构让 AI 不只看到"规则",还能看到"为什么这么定"——这才是规则能被理解、被执行的关键。
这件事从同事误触发 AI 自动买入开始,到画出 7 个动作的分级规则、再到四条高风险红线,再到持续运营的工作流,前后差不多两个月。整体回看,最重要的不是规则本身,而是规则背后的一种认知:AI 不是工具,是助手——助手需要边界,工具不需要边界。
工具的边界由人来决定(人拿锤子可以砸钉子也可以砸玻璃),助手的边界由助手的能力和责任共同决定。AI 助手有"能动钱"的能力,就有"动错钱"的责任;既然有责任,就要有边界。所以画红线不是"防 AI",是"让 AI 在边界内发挥能力"。
更进一步,AI 助手和人类助手还有个本质差异——人类助手知道自己"不知道什么",遇到不确定时会主动问;AI 助手倾向于"看起来自信",遇到不确定时反而会编造一个看起来合理的答案。这种差异决定了 AI 助手的边界必须比人类助手更明确——不是因为 AI 不如人,而是因为 AI 的"自信"是训练出来的假象。画红线实际上是在弥补 AI 不知道自己"不知道"这个根本缺陷。这一步想清楚,对 AI 治理的必要性会有更深层的认知。
这一步想清楚,AI 治理就不再是"约束 AI"的工作,而是"释放 AI 能力"的工作。两者的方向完全相反:前者是防守,后者是进攻;前者把 AI 锁在笼子里,后者让 AI 在框里飞。哪种更可持续?显然是后者。一个被锁在笼子里的 AI 即使能力再强也只能做事后的报告;一个在框里飞的 AI 能做实时的助手,但前提是框要画得对——框太小压抑能力、框太大容易出事。这条边界画得对不对,决定了 AI 助手能不能真正在金融场景里长期用下去。
如果也在做 AI 助手的项目,建议把"边界"这件事从一开始就纳入设计——不要等出了事才画红线。这一步看似慢,实际上比"事后补救"快得多——事后补救的成本是出事成本的 5—10 倍。先把边界画对,再让 AI 在边界里发挥能力,长期下来 AI 助手才能真正成为帮手,而不是负担。
最后留一个开放问题:随着 AI 能力变强,"AI 助手能不能动我的钱"的答案会不会变?今天的答案是"不能,至少不能自动";但如果三年后 AI 的判断准确率从 60% 升到 90%,监管框架又允许 AI 在限定条件下自主决策,那时候的"边界"会不会放宽?我的判断是——会的,但"放宽"不等于"取消"。放宽的方向可能是"高风险动作从'人工每次确认'改为'人工定期复核'",但不会变成"AI 完全自主"。助手始终是助手,助手的能力变强不代表助手的责任消失,红线只会从"一道线"变成"分层线",但不会变成"无红线"——这是 AI 助手和工具的根本区别,也是 AI 治理的长期方向。理解这一点,AI 治理的工作才会有方向感,AI 助手的长期价值才能真正发挥出来。否则就会陷入两个常见误区:要么过度治理(把所有动作都设成高风险,AI 形同虚设),要么治理缺位(只在出事后补规则,系统反复翻车)。两者都不是可持续的 AI 治理状态。