摘要：未登录词识别是汉语分词处理中的一个难点.在大规模中文文本的自动分词处理中,未登录词是造成分词错识误的一个重要原因.本文首先把未登录词识别问题看成一种分类问题.即分词程序处理后产生的分词碎片分为‘合'(合成未登录词)和‘分'(分为两单字词)两类.然后用决策树的方法来解决这个分类的问题.从语料库及现代汉语语素数据库中共统计出六类知识:前字前位成词概率、后字后位成词概率、前字自由度、后字自由度、互信息、单字词共现概率.用这些知识作为属性构建了训练集.最后用C4.5算法生成了决策树.在分词程序已经识别出一定数量的未登录词[6]而仍有分词碎片情况下使用该方法,开放测试的召回率;69.42%,正确率:40.41%.实验结果表明,基于决策树的未登录词识别是一种值得继续探讨的方法.http://www.cqvip.com//QK/96983X/200401/8868966.html

送人玫瑰，手留余香~如您已下载到该资源，可在回帖当中上传与大家共享，欢迎来CDA社区交流学习。（仅供学术交流用。）