专 题

ChatGPT 给语言大模型带来的启示和多模态大模
                       *
型新的发展思路
赵朝阳     朱贵波     王金桥
（中国科学院自动化研究所 北京 100190）
摘要:【目的】剖析 ChatGPT 的基础技术原理，探讨其对大语言模型发展产生的影响，以及对多模态大模型发
    【方法】通过分析 ChatGPT 的发展过程和技术原理，探讨指令微调、数据采集与标注、基
展思路产生的影响。
于人类反馈的强化学习等模型构建方法对大语言模型产生的影响。分析当前多模态大模型构建过程中遇到
的关键科学问题，并借鉴 ChatGPT 的技术方案，探讨多模态大模型未来的发展发展思路。
                      【结论】ChatGPT 为
预训练大模型向下游任务的发展提供了良好的参考技术路径，未来的多模态大模型构建以及下游任务实现
过程中，可以充分利用高质量的指令微调等技术来显著提升多模态大模型的下游任务性能。
关键词: 语言大模型          预训练大模型        多模态预训练模型          ChatGPT
分类号 ...