自然语言处理常用资源分享

目录

博主介绍

个人主页:苏州凯捷智能科技有限公司
个人社区:CSDN全国各地程序猿
作者介绍：苏州凯捷智能科技有限公司创始人，主要目前与华为合作5G工业机器人领域开发，2D、3D视觉项目开发，政府项目投标开发，
如果文章对你有帮助，欢迎关注、点赞、收藏（一键三连）
️ 承接软件APP、小程序、网站等开发重点行业应用开发（SaaS、PaaS、CRM、HCM、银行核心系统、监管报送平台、系统搭建、人工智能助理）、大数据平台开发、商业智能、App开发、ERP、云平台、智能终端、产品化解决方案。测试软件产品测试、应用软件测试、测试平台及产品、测试解决方案。运维数据库维护（SQL Server 、Oracle、MySQL）、 操作系统维护（Windows、Linux、Unix等常用系统）、 服务器硬件设备维护、网络设备维护、 运维管理平台等。运营服务IT咨询 、IT服务、业务流程外包（BPO）、云/基础设施的管理、线上营销、数据采集与标注、内容管理和营销、设计服务、本地化、智能客服、大数据分析等。
有任何问题欢迎私信，看到会及时回复
微信号：stbsl6，微信公众号：苏州程序大白
想加入技术交流群的可以加我好友，群里会分享学习资料

开源Python库

项目	地址	简介
jieba分词	https://github.com/fxsjy/jieba	中文分词库
中文信息抽取工具	https://github.com/fighting41love/cocoNLP	从中文文本数据中抽取出结构化的信息，如时间、手机号、运营商、邮箱、地址、人名、身份证
LTP（Language Technology Platform）	https://github.com/HIT-SCIR/ltp	提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作
中文地址提取工具	https://github.com/shibing624/addressparser	支持中国三级区划地址（省、市、区）提取和级联映射，支持地址目的地热力图绘制。适配python2和python3
中文公司名称分词工具	https://github.com/shibing624/companynameparser	支持公司名称中的地名，品牌名（主词），行业词，公司名后缀提取
汉字数字(中文数字)-阿拉伯数字转换工具	https://github.com/Wall-ee/chinese2digits	是一个将中文数字（大写数字） 转化为阿拉伯数字的工具
HarvestText	https://github.com/blmoistawinde/HarvestText	是一个专注无（弱）监督方法，能够整合领域知识（如类型，别名）对特定领域文本进行简单高效地处理和分析的库。适用于许多文本预处理和初步探索性分析任务，在小说分析，网络文本，专业文献等领域都有潜在应用价值

知识图谱相关

项目	地址	简介
文档图谱信息可视化	https://github.com/liuhuanyong/TextGrapher	输入一篇文档，将文档进行关键信息提取，进行结构化，并最终组织成图谱组织形式，形成对文章语义信息的图谱化展示。
京东GoodsKG	https://github.com/liuhuanyong/ProductKnowledgeGraph	基于京东网站的商品上下级概念，商品品牌之间关系，商品描述维度等知识库，基于该知识库可以支持商品属性库构建，商品销售问答，品牌物品生产等知识查询服务，也可用于情感分析等下游应用．
思知知识图谱	https://github.com/ownthink/KnowledgeGraphData	史上最大规模1.4亿中文知识图谱开源下载，知识图谱，通用知识图谱，融合了两千五百多万的实体，拥有亿级别的实体属性关系。
stock-knowledge-graph	https://github.com/lemonhu/stock-knowledge-graph	（neo4j）利用网络上公开的数据构建一个小型的证券知识图谱/知识库
事件三元组抽取	https://github.com/liuhuanyong/EventTriplesExtraction	基于依存句法与语义角色标注的事件三元组抽取，可用于文本理解如文档主题链，事件线等应用。内置LTP、百度DDParser和规则模版的三种抽取方式
中文人物知识图谱构建	https://github.com/liuhuanyong/PersonRelationKnowledgeGraph	中文人物关系知识图谱项目,内容包括中文人物关系图谱构建,基于知识库的数据回标,基于远程监督与bootstrapping方法的人物关系抽取,基于知识图谱的知识问答等应用.
awesome-knowledge-graph	https://github.com/husthuke/awesome-knowledge-graph	整理知识图谱相关学习资料，提供系统化的知识图谱学习路径。

语料&数据集

项目	地址	简介
ChineseNlpCorpus	https://github.com/SophonPlus/ChineseNlpCorpus	搜集、整理、发布 中文 自然语言处理 语料/数据集, 包含情感/观点/评论 倾向性分析、中文命名实体识别、推荐系统、FAQ 问答系统多个领域的数据集
公司名语料库（Company-Names-Corpus）	https://github.com/wainshine/Company-Names-Corpus 公司名语料库。机构名语料库。公司简称,缩写,品牌词,企业名。可用于中文分词、机构名实体识别。
微信公众号语料库	https://github.com/nonamestreet/weixin_public_corpus	部分网络抓取的微信公众号的文章，已经去除HTML，只包含了纯文本。
百度知道问答语料库	https://github.com/liuhuanyong/MiningZhiDaoQACorpus	百度知道问答语料库，包括超过580万的问题，938万的答案，5800个分类标签。基于该问答语料库，可支持多种应用，如闲聊问答，逻辑挖掘。
多语言音频数据	https://voice.mozilla.org/en/datasets	多种语言音频数据，包括来自42,000名贡献者超过1,400小时的语音样本，涵github
中文突发事件语料库	https://github.com/shijiebei2009/CEC-Corpus	中文突发事件语料库是由上海大学（语义智能实验室）所构建。根据国务院颁布的《国家突发公共事件总体应急预案》的分类体系，从互联网上收集了5类（地震、火灾、交通事故、恐怖袭击和食物中毒）突发事件的新闻报道作为生语料，然后再对生语料进行文本预处理、文本分析、事件标注以及一致性检查等处理，最后将标注结果保存到语料库中，CEC合计332篇。
dh_msra	http://www.filediag.com/down/msra.exe_5066.html	5 万多条中文命名实体识别标注数据（包括地点、机构、人物）

词表

项目	地址	简介
multistop	https://github.com/hidadeng/multistop	停用词表，支持中英法德等15种语言

其他可能有帮助的研究

项目	地址	简介
事理知识抽取研究	https://github.com/liuhuanyong/ComplexEventExtraction	中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件抽取，并形成事理图谱。
领域情感词典构建	https://github.com/hidadeng/wordexpansion	使用SO_PMI互信息算法简单快速构建不同领域(手机、汽车等)的专业情感词典

️ 承接软件APP、小程序、网站等开发重点行业应用开发（SaaS、PaaS、CRM、HCM、银行核心系统、监管报送平台、系统搭建、人工智能助理）、大数据平台开发、商业智能、App开发、ERP、云平台、智能终端、产品化解决方案。测试软件产品测试、应用软件测试、测试平台及产品、测试解决方案。运维数据库维护（SQL Server 、Oracle、MySQL）、 操作系统维护（Windows、Linux、Unix等常用系统）、 服务器硬件设备维护、网络设备维护、 运维管理平台等。运营服务IT咨询 、IT服务、业务流程外包（BPO）、云/基础设施的管理、线上营销、数据采集与标注、内容管理和营销、设计服务、本地化、智能客服、大数据分析等。
有任何问题欢迎私信，看到会及时回复
微信号：stbsl6，微信公众号：苏州程序大白

❤️关注苏州程序大白公众号❤️