1 论文标题：基于多教师知识蒸馏的新闻文本分类方法

2 作者信息：杜潇鉴*, 吕卫东#, 孙钰华：兰州交通大学数理学院，甘肃 兰州

3 出处和链接：杜潇鉴, 吕卫东, 孙钰华. 基于多教师知识蒸馏的新闻文本分类方法[J]. 计算机科学与应用, 2023, 13(8): 1515-1526. https://doi.org/10.12677/CSA.2023.138150

4 摘要：从传统的文本分类到基于深度学习下的文本分类，再到BERT模型的提出，使得其以及其变种模型逐渐成为自然语言处理中的主流模型，但其需要占用和花费大量内存和计算机资源。根据师生网络结构分成同构和异构两种情况，并提出了不同的多教师蒸馏策略。在THUCNews数据集上做实验，发现即使有教师表现较差，也能使得学生模型分类效果分别提升3.26%和3.30%，且性能损失分别为0.79%和0.78%，说明接近教师模型的分类效果；同时参数量只是教师模型的2.05%和2.08%，实现了很好的模型压缩。