NLP民工的乐园: 几乎最全的中文NLP资源库

AIU人工智能学院

3125

收藏 2020-06-29

词库
工具包
学习资料

在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。

很多包非常有趣，值得收藏，满足大家的收集癖！

1. textfilter: 中英文过滤词 observerss/textfilter

复制代码

2. langid：97种语言检测 https://github.com/saffsd/langid.py

复制代码

3. langdetect：另一个语言检测https://code.google.com/archive/p/language-detection/

复制代码

输出结果如下：

注：语言类型主要参考的是ISO 639-1语言编码标准，详见ISO 639-1百度百科

跟上一个语言检测比较，准确率低，效率高。

4. phone 中国手机归属地查询： ls0f/phone

已集成到 python package cocoNLP中，欢迎试用

复制代码

支持号段: 13*,15*,18*,14[5,7],17[0,6,7,8]

记录条数: 360569 (updated:2017年4月)

作者提供了数据phone.dat 方便非python用户Load数据。

5. phone国际手机、电话归属地查询：AfterShip/phone

复制代码

6. ngender 根据名字判断性别：observerss/ngender 基于朴素贝叶斯计算的概率

复制代码

7. 抽取email的正则表达式

已集成到 python package cocoNLP中，欢迎试用
email_pattern = '^[*#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$'emails = re.findall(email_pattern, text, flags=0)

8. 抽取phone_number的正则表达式
已集成到 python package cocoNLP中，欢迎试用
cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'

phoneNumbers = re.findall(cellphone_pattern, text, flags=0)

9. 抽取身份证号的正则表达式
IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'

IDs = re.findall(IDCards_pattern, text, flags=0)

10. 人名语料库： wainshine/Chinese-Names-Corpus
人名抽取功能 python package cocoNLP，欢迎试用
中文（现代、古代）名字、日文名字、中文的姓和名、称呼（大姨妈、小姨妈等）、英文->中文名字（李约翰）、成语词典
（可用于中文分词、姓名识别）

11. 中文缩写库：github
全国人大: 全国/n 人民/n 代表大会/n