ChatGPT各项能力的起源


最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深
刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代
码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是我
们自然就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力
到 底 从 何 而 来 ？ 在 这 篇 文 章 中 ， 我 们 试 图 剖 析 ChatGPT 的 突 现 能 力
（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技
术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步
进化成目前的强大形态。
我们希望这篇文章能够促进大型语言模型的透明度，成为开源社区共同努力
复现 GPT-3.5 的路线图。

致国内的同胞们：
在国际学术界看来，ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常
见的语言模型 (Bert/ Bart/ T5) 的区别，几乎是导弹与弓箭的区别，一定要引
起最高程度的重视。
在我跟国际同行的交流中，国际上的主流学术机构  ...