面向中文自然语言处理的60余类系统开源实践项目与工业探索索引

项目介绍

面向中文自然语言处理的六十余类实践项目及学习索引,涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等,是供自然语言处理入门学习者的一个较为全面的学习资源,欢迎大家使用,并提出批评意见。

项目地址: liuhuanyong.github.io

工业项目

项目类型 中文名称 技术点
技术博客 技术落地与探索博客 技术博客、技术探索与应用实践
技术公众号 数地工场技术文章 面向事理图谱、知识库构建、社会计算等技术落地探索
现代打油诗集 现代诗集《听说》 65首现代诗集,打油诗
自然语言处理语义平台 数地工场 信息抽取、舆情分析、语义计算、信息采集类、问句解析类api
7*24小时实时抽象事理学习、搜索与关联推理系统 学迹 实证学习,信息检索、问答搜索,知识推理
寻链系统 事理图谱Demo 前因后果模式的搜索展示
全行业实例事理搜索与关联推理系统 数地搜搜 实时系统,事理应用,事件追踪,事件检索
在工业落地过程中与业界共享的图谱数据 开放知识图谱资源 知识库数据,知识图谱,开放共享

实践项目


学习心得

项目名称 中文名称 项目技术点
KnowledgeGraphSlides 知识图谱CCKS会议报告合集(2013-2018) 知识图谱, 学习资源
CCKS2018Summary CCKS2018会议总结 知识图谱,个人心得
CCL2018Summary CCL2018参会总结 自然语言处理,心得

语言资源构建

项目名称 中文名称 项目技术点
ChineseSemanticKB 中文处理的12类、百万规模的语义常用词典 中文处理的12类、百万规模的语义常用词典,支持句子扩展、转写、事件抽象与泛化
MiningZhiDaoQACorpus 知道类问答社区数据集 语言资源库,语料库,580万问题,983万问答对
CausalCollocation 频繁因果词对库 语言资源库,因果对
ChineseNLPCorpus 中文自然语言处理处理用语言资源 语言资源库,语义库,常用词典, 语言资源观, 语料库
SentimentWordExpansion 情感词扩展 SOPMI
BaikeInfoExtraction 百科信息抽取 Urllib,xpath
SougouWordCollector 搜狗词库自动构建 Urllib,Scrapy
BaikeKnowledgeSchema 百科知识体系构建 Urllib,xpath,递归,知识库本体概念

自然语言处理基本组件

项目名称 中文名称 项目技术点
WordSegment 分词 HMM, MAXCUT,Ngram
HuanNLP 自然语言处理组件 HMM, maxent, CRF
Pinyin2Chinese 拼音转文字 Trie树,HMM, bigram
QueryCorrection 查询纠错 edit-distance
ChineseCixing 中文词形查询 字形,音形
ChineseAntiword 中文反义词查询 反义词

信息抽取

项目名称 中文名称 项目技术点
WordMultiSenseDisambiguation 中文多义词词义消歧 百科知识库,词义语义表示,词义语义相似度计算
TextFeatureExtraction 文本特征提取 IG,CHI ,DF,MI
WordCollocation 搭配抽取 MI
KeyInfoExtraction 关键信息提取 TFIDF,TextRank
EventTriplesExtraction 事件三元组提取 dependency parser

知识图谱与事理图谱

项目名称 中文名称 项目技术点
EventKGNELL 学迹事理实时知识库终身学习 事件知识库,实时学习,事件概念,事理逻辑,语言资源
AbstractKnowledgeGrap 抽象知识图谱 抽象知识图谱,抽象实体,抽象状态,抽象动作
GoodsKG 电商商品概念与销售知识图谱 商品概念,商品类知识
ZhidaoChatbot 基于问答社区的逻辑知识问答 问答社区,逻辑问答
EventPredictBasedOnEG 基于事理图谱的未来事件预测 事理图谱,事件预测
QAonMilitaryKG 军事知识图谱与问答项目 知识图谱,军事,基于模板问答方式
TravelKnowledgeGraph 出行知识图谱 路径规划,推荐,知识模型
PersonRelationKnowledgeGraph 中文人物关系图谱 bootstrapping, 远程监督, 训练数据回标, 关系抽取
CrimeKgAssitant 法律罪行智能助手 知识图谱, 智能预判, 自动问答
QASystemOnKG 医疗知识图谱与自动问答 知识图谱构建及自动问答
ComplexEventExtraction 复合事件图谱 复合事件,条件事件、反转事件抽取
CausalityEventExtraction 因果事件图谱 因果图谱,因果事件抽取
SequentialEventExtration 顺承事件图谱 动宾短语提取,事件图谱
LanguageKnowledgeGraph 语言政策知识图谱 Neo4j,Echarts,D3js
HyponymyExtraction 上下位关系图谱 模式匹配,上下位概念表示
MusicLyricChatbot 歌词对对碰 es搜索,歌词知识库

文本挖掘与社会计算

项目名称 中文名称 项目技术点
IdealWordCloudKit 自定义形状词云项目 wordcloud, tfidf, 可视化
WeiboIndexSpyder 微博指数采集 selenium,xpath
BaiduIndexSpyder 百度指数采集 xpath,selenium
AliIndexSpyder 阿里指数采集 selenium,xpath
DocSentimentAnalysis 基于句法依存的情感分析 Template, Dependencyparser
LearningBasedSentiment 基于深度学习的情感分析 CNN,RNN,ML
TextGrapher 文本结构化图谱表示 EventExtraction,知识表示
ImportantEventExtractor 文本重要性计算 textrank
ZhuguanDetection 文本主观性计算 subjective knowledge base
SentenceSimilarity 句子相似度计算 distance, hash, haiming ,eidtdistance
TopicCluster 文本话题聚类 LDA,Kmeans
EventMonitor 特定事件追踪 新闻采集,事件监测架构,scrapy
PoemMining 中国古代诗词挖掘 语料库构建,文本挖掘
LawCrimeMining 司法文本挖掘 语料库构建,文本挖掘
ChineseHumorSentiment 中文幽默情绪计算 语料库构建,幽默分类与情绪计算
LanguagePlatform 集成自然语言处理技术的语言平台 Neo4j,Echarts,Django

深度学习与语义表示

项目名称 中文名称 项目技术点
ChineseTextualInference 中文文本蕴含/推理 Textual entailment, keras, 文本分类
SiameseSentenceSimilarity siamese相似问句匹配 siamese lstm network, keras, 文本分类
MedicalNamedEntityRecognition 中文电子病例命名实体识别 keras, bi-lstm-crf
ChineseEmbedding 中文向量大全(字符向量、词向量、拼音向量、依存向量、词性向量) SKIP-GRAM,Co-Matrix
Word2Vector 词向量表示 CBOW, SKIP-GRAM,Co-Matrix
Sentence2Vector 句子向量表示 CBOW
Seq2SeqTranslation 端到端的翻译模型 keras, lstm

作者简介

刘焕勇, Liu Huanyong,2017年硕士毕业,目前就职于中国科学院软件研究所,专注金融、情报两大领域,从事事件抽取、事件演化、情感分析、事理(知识)图谱、常识推理、语言资源构建与应用等研发工作。目前主持研发自然语言处理技术开放平台数地工场、大规模实时事理知识学习系统学迹、全行业因果链查询与溯源项目寻链系统,并在智能金融、智能情报落地中负责实施了多个项目。致力于面向中文处理的基础知识库建设与理论技术开源共享,目前累计对外开放自然语言处理实践项目六十余个,在openkg开放知识图谱联盟中开放工业应用知识库七类,主笔数地工场技术类系列文章二十余篇。

邮箱:[email protected]

地址:北京市海淀区中关村南四街4号

github:https://github.com/liuhuanyong


你可能感兴趣的:(自然语言处理,人工智能,语言资源,自然语言项目,项目实践,自然语言处理,开源项目,信息抽取)