AliNLP架构

AliNLP 自然语言技术平台

阿里AliNLP系统架构图

1. 词法分析（分词、词性、实体）：
- 算法：基于Bi-LSTM-CRF算法体系，以及丰富的多领域词表
2. 句法分析（依存句法分析、成分句法分析）：
- 算法：Shift-reduce，graph-based，Bi-LSTM
- 应用：资讯搜索、评价情感分析
3. 情感分析（情感对象、情感属性、情感属性关联）：
- 算法：情感词典挖掘，属性级、句子级、篇章级情感分析
- 应用：商品评价、商品问答、品牌舆情、互联网舆情
4. 句子生成（句子可控改写、句子压缩）：
- 算法：Beam Search、Seq2Seq+Attention
- 应用：商品标题压缩，资讯标题改写，PUSH消息改写
5. 句子相似度（浅层相似度、语义相似度）：
- 算法：Edit Distance，Word2Vec，DSSM
- 应用：问大家相似问题、商品重发检测、影视作品相似等
6. 文本分类/聚类（垃圾防控、信息聚合）：
- 算法：ME，SVM，FastText
- 应用：商品类目预测、问答意图分析、文本垃圾过滤、舆情聚类、名片OCR后语义识别等
7. 文本表示（词向量、句子向量、篇章向量、Seq2Seq）：
- Word2Vec、LSTM、DSSM、Seq2Seq为基础进行深入研究
8. 知识库
- 数据规模：电商同义词，通用同义词，电商上下位，通用上下位，领域词库（电商词、娱乐领域词、通用实体词），情感词库
- 挖掘算法：bootstrapping，click-through mining，word2vec，k-means，CRF
- 应用：语义归一、语义扩展、Query理解、意图理解、情感分析
9. 语料库
- 分词、词性标注数据，依存句法标注数据

电商类或者某种服务体系的评价系统算法总架构图

- 关键点：
- 溯源：从源头刺激用户得到有用评论
- 去伪：去除掉与产品无关或者虚假的评论
- 扶优：对真实有效的评论深入挖掘
- 增值：在业务上提升服务价值