自然语言处理（NLP）相关

ヾ(◍°∇°◍)ﾉﾞ-参考与补充

结巴分词使用

• 中文分词之结巴分词~~~附使用场景+demo（net）

• jieba分词、自定义词典提取高频词、词性标注及获取词的位置

• jieba分词增加自定义词表

• 词性标注

• [python] 使用Jieba工具中文分词及文本聚类概念

• jieba分词词性标记含义

Toolkits 综合NLP工具包

• THULAC 中文词法分析工具包

  by 清华 (C++/Java/Python)

• NLPIR

  by 中科院 (Java)

• LTP 语言技术平台

  by 哈工大 (C++)

• FudanNLP

  by 复旦 (Java)

• BosonNLP

  by Boson (商业API服务)

• HanNLP

  (Java)

• SnowNLP

  (Python) Python library for processing Chinese text

• YaYaNLP

  (Python) 纯python编写的中文自然语言处理包，取名于“牙牙学语”

• DeepNLP

  (Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.

• chinese_nlp

  (C++ & Python) Chinese Natural Language Processing tools and examples

• Chinese-Annotator

  (Python) Annotator for Chinese Text Corpus 中文文本标注工具

Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多语言的NLP工具包

• CoreNLP

  by Stanford (Java)

• NLTK

  (Python)

• spaCy

  (Python)

• OpenNLP

  (Java)

• gensim

  (Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.

Chinese Word Segment 中文分词

• Jieba 结巴中文分词

  (Python) 做最好的 Python 中文分词组件

• kcws 深度学习中文分词

  (Python) BiLSTM+CRF与IDCNN+CRF

• ID-CNN-CWS

  (Python) Iterated Dilated Convolutions for Chinese Word Segmentation

• Genius 中文分词

  (Python) Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random Field)条件随机场算法。

• loso 中文分词

  (Python)

Information Extraction 信息提取

• MITIE

  (C++) library and tools for information extraction

• Duckling

  (Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.

• IEPY

  (Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.

• Snorkel: A training data creation and management system focused on information extraction

• Neural Relation Extraction implemented with LSTM in TensorFlow

• A neural network model for Chinese named entity recognition

• Information-Extraction-Chinese

  Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文实体识别与关系提取

QA & Chatbot 问答和聊天机器人

• Rasa NLU

  (Python) turn natural language into structured data

• Rasa Core

  (Python) machine learning based dialogue engine for conversational software

• Chatterbot

  (Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.

• Chatbot

  (Python) 基於向量匹配的情境式聊天機器人

• Tipask

  (PHP) 一款开放源码的PHP问答系统，基于Laravel框架开发，容易扩展，具有强大的负载能力和稳定性。

• QuestionAnsweringSystem

  (Java) 一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。

• 使用TensorFlow实现的Sequence to Sequence的聊天机器人模型

  (Python)

• 使用深度学习算法实现的中文阅读理解问答系统

  (Python)

• DuReader中文阅读理解Baseline代码

  (Python)

Corpus 中文语料

• 开放知识图谱OpenKG.cn

• 大规模中文概念图谱CN-Probase

  公众号介绍

• CLDC中文语言资源联盟

• 中文 Wikipedia Dump

• 98年人民日报词性标注库@百度盘

• 百度百科100gb语料@百度盘

  密码neqs 出处应该是梁斌penny大神

• 搜狗20061127新闻语料(包含分类)@百度盘

• UDChinese

  (for training spaCy POS)

• 中文word2vec模型

• 中文word2vec模型之维基百科中文

  使用2017年6月20日中文维基百科语料训练的脚本和模型文件。

• Synonyms:中文近义词工具包

  基于维基百科中文和word2vec训练的近义词库，封装为python包文件。

• Chinese_conversation_sentiment

  A Chinese sentiment dataset may be useful for sentiment analysis.

• 中文突发事件语料库

  Chinese Emergency Corpus

• dgk_lost_conv 中文对白语料

  chinese conversation corpus

• 用于训练中英文对话系统的语料库

  Datasets for Training Chatbot System

• 八卦版問答中文語料

• 中国股市公告信息爬取

  通过python脚本从巨潮网络的服务器获取中国股市（sz,sh）的公告(上市公司和监管机构)

• tushare财经数据接口

  TuShare是一个免费、开源的python财经数据接口包。

• 保险行业语料库

  [52nlp介绍Blog] OpenData in insurance area for Machine Learning Tasks

• 最全中华古诗词数据库

  唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。

• DuReader中文阅读理解数据

• 中文语料小数据

  包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据

• 中文人名语料库

  中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。

• 中文数据预处理材料

  中文分词词典和中文停用词

• 漢語拆字字典

Organizations 相关中文NLP组织和会议

• 中国中文信息学会

• NLP Conference Calender

  Main conferences, journals, workshops and shared tasks in NLP community.

Learning Materials 学习资料

• 中文Deep Learning Book

• Stanford CS224n Natural Language Processing with Deep Learning 2017

• Oxford CS DeepNLP 2017

• Speech and Language Processing

  by Dan Jurafsky and James H. Martin

• 52nlp 我爱自然语言处理

• hankcs 码农场

• 文本处理实践课资料

  文本处理实践课资料，包含文本特征提取（TF-IDF），文本分类，文本聚类，word2vec训练词向量及同义词词林中文词语相似度计算、文档自动摘要，信息抽取，情感分析与观点挖掘等实验。

机器翻译自动评估

• 机器翻译评测——BLEU算法详解
• 机器翻译评价指标之BLEU详细计算过程
• 机器翻译自动评估-BLEU算法详解
• 浅谈用Python计算文本BLEU分数
• 机器翻译质量评测算法-BLEU