NLP学习(1) 概论

教程: https://www.bilibili.com/video/BV1YK4y1875p

统计机器翻译

传统模型

中文,C

步骤1

总目标: $\underset{E}{\max }P(\mathbf{e}|\mathbf{c})$

步骤1:Translation Model

将中文分词，然后把每个词语翻译成英文

$\underset{\mathbf{e}}{\max }P(\mathbf{c}|\mathbf{e})$

步骤2: Language Model

找到概率最大的词语序列

$\underset{\mathbf{e}}{\max }P(\mathbf{e})$

解码模型: Decoding

维特比解码可以直接计算$\underset{\mathbf{e}}{\mathrm{argmax}}P(\mathbf{e})\cdot P(\mathbf{c}|\mathbf{e})$

语言模型

概率计算

Uni-gram: $P(\mathbf{e})=P([e_1,e_2,\dots ,e_n])=P(e_1)P(e_2)\dots P(e_n)$

Bi-gram: $P(\mathbf{e})=P([e_1,e_2,\dots ,e_n])=P(e_1)P(e_2|e_1)\dots P(e_n|e_{n-1})$

Tri-gram: $P(\mathbf{e})=P(e_1)P(e_2|e_1)P(e_3|e_1,e_2)\dots P(e_n|e_{n-1},e_{n-2})$

上面这些都是马尔科夫假设, 是对联合概率的简化.

联合概率: $P(\mathbf{e})=P(e_1)P(e_2|e_1)\dots P(e_n|e_1,e_2,\dots e_{n-1})$

在计算时一般计算$\log P(\mathbf{e})$避免溢出

自然语言处理技术4个维度

声音 Phonetics

单词 Morphology
例如: 分词, 词性, NER

句子结构 Syntax
例如: 依存分析

语义 Semantic

mermaid 在线编辑器: https://mermaid-js.github.io/mermaid-live-editor

NLP面试会考手推逻辑回归

一篇ACL, BAT基本不用愁了

问答系统的基本流程

问答系统关键方法

• 文本表示
• 文本相似度

知识图谱关键方法

• 实体抽取
• 关系抽取