资料名称: NeurIPS 2026 接收论文《AI Models Can Provably Hide Arbitrary Capabilities》(arXiv 2610.13928,v2 版 2026 年 10 月 14 日)。
帖内资料: arXiv 摘要页(含版本历史与许可)、21 页 PDF 全文(正文 8 节 + 附录 A—I,含威胁模型形式化、GLU 电路构造、编译细节、实验结果、缓解策略与 canary 说明)、v1 与 v2 两版 PDF 的对照入口。
时间覆盖: v1 提交 2026 年 10 月 9 日,v2 修订 2026 年 10 月 14 日;实验在单张 A100 80 GiB 上完成,代码基于 PyTorch 2.9。
许可与引用: arXiv 页面标注 CC BY 4.0,署名后可转载与改编;引用请写作者、标题、arXiv 编号与版本号。
适用任务: 能力评估方法论批评、模型供应链与权重审计、后门检测方案设计、形式化安全论证的阅读训练。
这篇论文问的是一个很少被拿出来单独检验的前提:部署前的「能力评估」之所以被认为有用,是因为它默认了一个假设——模型若具备某种危险能力,就总能被诱发出来。作者要证明这个假设在对抗条件下不成立。
做法不是训练,而是「编译」。他们把目标能力写成一个定步数、无分支的直线程序(SLP),编译成线性阈值电路(LTC),再转成矩阵、最终转成 gated linear unit(GLU)的权重,直接写进宿主模型的参数里。整条链路是 Algorithm → SLP → LTC → Matrices → GLU。关键在于「写进去」这件事不经过梯度下降,所以得到的不是一个被训练出来的行为,而是一段被人为植入的可执行电路。
隐藏靠的是数字储物柜(digital locker)。最简构造是拿一个哈希函数 h,把密文存成 c = h(k) ⊕ m,解密函数 L(x) = h(x) ⊕ c;只有 x 等于密钥 k 时才还原出 m。为了能明确报错,他们在消息后面拼一串 1 作为标签,解密时若尾部不是全 1 就返回失败符号。随机预言机模型下,随便猜一个密钥通过标签检查的概率是 2 的负 r 次方(r 是标签长度)。
这里密钥 k 就是秘密触发词,消息 m 是隐藏电路的权重。用的是 Keccak 族(SHA-3 的基础),因为它可并行、体积小、宽度与输出长度可调。
这套东西的安全保证被写成两个博弈:一是「触发发现」——审计者拿到完整权重,若能找到一个输入解锁隐藏计算就算赢;二是「载荷隐藏」——给两个等大的能力,审计者要判断锁进去的是哪一个。要求是任何多项式时间审计者在这两个博弈里都只能有可忽略的优势,前提是触发的最小熵不低于安全参数(也就是没有任何单个触发的概率高于 2 的负 λ 次方)。
作者明确写了这套保证的边界:它不声称防御者无法把权重标记为异常,也不声称防御者无法从外部数据独立学会同一个任务。
实验部分值得逐行看,因为结论全在数字里。他们做了两个任务:一个是子集奇偶(给 n 位输入,返回某个秘密子集的奇偶性),选它是因为这类任务在近似梯度设定下可证难学,能区分「真的把已有能力诱出来」和「审计过程中把能力教会了」;另一个是化学反应可行性二分类,用 USPTO 数据、分子转 SELFIES、再编码成 64 位 Morgan 指纹,作为 CBRN 相关能力的代理,作者特意把它限制在分类而不是合成规划。
评估用了五条路径,结果对比很直接(左为密码锁定基线,右为加密模型):非触发输入 50.7 对 50.6,都在随机水平;监督微调 500 步 92.8 对 50.9;潜在对抗训练八层 91.7 对 52.9;GCG 8 位触发 92.7 对 73.5;GCG 16 位触发 92.9 对 52.7。也就是说基线模型在微调下几乎立刻被诱发,加密模型纹丝不动。
那两个例外要看清,否则会误读。GCG 在 8 位触发下把加密模型拉到 73.5%,原因不是攻破了密码学,而是 8 位触发空间只有 256 种可能,而查询预算约 20,000 次——相当于把整个空间穷举了一遍,作者自己也写了这一项只是追平暴力搜索。16 位触发空间是 65,536,同样的预算只覆盖 31%,准确率就掉回 52.7%。
触发越长越安全,这个关系比任何形容词都重要。子集奇偶那组更干脆:密码锁定模型微调后到 100%,编译模型保持随机;往权重里加高斯噪声对两者都没用,噪声大到让激活变成 NaN 也没把能力逼出来。
开销必须摊开说,否则会以为明天就能用。他们的概念验证模型有 38 层、约 20.7 亿个稠密参数,其中非零参数只有 190 万个,最大残差流宽度 10,266;而作为对照的密码锁定基线只有约 17 万个参数。开销主要出在哈希子电路上,占约 19.8 亿个参数,也就是 95%。隐藏的那点东西本身很小——化学分类器是 64→8→16→2 的三值 MLP,只有 672 个三值权重。
用满强度参数(24 轮 Keccak-f[1600]、128 位触发)时是 110 层、35.8 亿稠密参数,能在触发下与分类器在所有留出输入上一致,并在测试过的 10,000 个错误触发上正常跑替代模型。作者自己提醒:这些是证明概念的成本,不是可部署的成本。
空间限制也写得很实在:单位置执行单元要在一个序列位置上装下整个隐藏权重矩阵,所以宿主模型维度直接卡住电路尺寸——10,000 维的宿主最多只能塞一个 99×99 的方阵。他们的替代方案是按行做自回归执行,把 O(n) 的残差占用换成 O(n) 的特征加 O(nd) 个位置,代价是上下文变长。
局限部分比多数论文坦白:构造是刻意设计出来的,作者不声称这类电路会通过普通训练涌现;编译权重在统计上与常规初始化有差异,层内权重向量存在不寻常的相关性,所以「看起来像高斯初始化」不等于「看起来像正常训练的模型」;更广泛的检测手段没探索;完整嵌进预训练模型仍是后续工作——目前只验证了单个 GLU 单元注入 Gemma 3 270M 后行为正确。
附录里对防御的讨论是这篇最该被安全团队读的部分。权重异常检测:可证不可检测很难,实际中编译痕迹(比如稀疏性)可能被察觉,但即便察觉也无法判断这段异常结构是有害能力、良性水印还是架构产物,还不能安全移除——删了可能损坏模型。运行时监控:这套构造主要针对部署前审计,因为触发在审计时未知、也几乎不会被随机碰到;但如果它真的执行了隐藏能力,那一次前向的行为或内部激活可能留下痕迹,机制可解释的异常检测与探针是有希望的方向。
剪枝、输入改写能破坏执行,但攻击者可以加纠错电路、用无法改写的语义触发来对冲。
结论一句话概括:无法诱发不等于不存在,只靠诱发的安全论证给不出普遍保证。作者的建议是把视野扩到整条模型供应链——数据、训练过程、运行时监控、模型来源验证,而不是只做部署前的行为诱发。
最后一处细节,做训练语料的人要留意:论文带了 Alignment Research Center 的 MAPS canary 字符串,明确要求这类后门内容不应进入训练数据。整理数据集时按这个 canary 做过滤,是这篇论文顺带给出的操作建议。
────────────────
摘要页、两版 PDF 与 arXiv 许可说明的地址都放在下面,回帖就能看到。