预训练语言模型
预训练 微调
从海量数据中自动学习知识
Big-data Driven,模型基于大规模语料训练而成;
将模型在大规模无标注数据上进 将模型在下游各种自然语言处理任 Multi-tasks Adaptive,支持多种任务,包括自然
行自监督训练得到预训练模型 务上的小规模有标注数据进行微调 语言生成NLG和自然语言理解NLU类的任务;
得到适配模型
Few-shot (Zero-shot),在少甚至无标注样本的
条件下支持推理(自监督学习)。
AI大模型就是预训练语言模型
通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型
预训练语模型“预训练 + 微调”技术范式
规模标注 不同特定任务 测试数据
本数据 有标注训练数据
模型预训练 模型微 ...
附件列表