https://arxiv.org/pdf/2111.06206.pdf
https://arxiv.org/pdf/2302.13080.pdf 转发重新审视AI，神经网络中概念符号涌现的发现与证明 (qq.com)
本文围绕近期的两项工作，讨论神经网络中符号概念的涌现现象，即『深度神经网络的表征是否是符号化的』的问题。如果我们绕开 “应用技术提升” 的视角，从 “科学发展” 的角度来重新审视 AI，证明 AI 模型中的符号涌现现象无疑是具有重大意义的。
1. 首先，目前大部分的可解释性研究都在试图将神经网络解释为一个 “清晰的”、“语义化的”、或 “逻辑化的” 模型。但是，如果无法证明神经网络的符号涌现，如果神经网络内在表征成分真的有大量的混乱成分，那么大部分的可解释性研究就失去了其基本事实依据。2. 其次，如果无法证明神经网络的符号涌现，深度学习的发展将会大概率困在 “结构”、“损失函数”、“数据” 等外围因素的层面，而无法直接高层的认知层面去实现知识层面的交互式学习。往这个方向发展需要更干净清晰的理论支撑。
因此，本文主要从以下三个方面介绍。
1. 如何去定义神经网络所建模的符号化概念，从而可靠地发现神经网络的符号涌现现象。2. 为什么所量化的符号化概念可以认为是可信的概念（稀疏性、对神经网络表征的 universal matching、迁移性、分类性、对历史解释性指标的解释）。3. 如何证明符号化概念的涌现 —— 即理论证明当 AI 模型在某些情况下（一个并不苛刻的条件），AI 模型的表征逻辑可以解构为极少数的可迁移的符号化概念的分类效用（这部分会在 4 月底公开讨论）。