预训练大模型
白皮书
01
高文
中国工程院院士 鹏城实验室主任
北京大学博雅讲席教授
自 1956 年人工智能在达特茅斯会议上被提出,
人工智能领域的学者一直致力于提
升算法的通用性能力,即希望人工智能方法能够像人类一样,快速灵活地适应各种
实际应用问题,提升人类社会的生产效率。然而,在人工智能发展的前半个世纪,
学者们始终没有找到合适的方法论,而包括符号计算、专家系统等精心设计的模型,
都只能用于少数限定场景,无法拓展到以计算机视觉、自然语言处理为代表的复杂
PREFACE
系统中去。
21 世纪初,随着硬件性能的演进和大数据的兴起,情况发生了根本性的变化。
2010 年开始,深度学习以席卷之势,占领了人工智能的大部分领域,在许多公测
数据上取得了前所未有的精确度。
深度学习的本质是统计学习,即通过在大量数据
上拟合复杂函数,使得该函数具有泛化能力。时至今日,这种范式已经取得了 ...