【个人思考】2020-01-08笔记和思考

Yuan Yao:

1. common sense到 visual relation
   图片中抽取commonsense
2. openRE hierarchy信息
3. DocRED 2.0, reasoning上面，sentence level-> document level. cross-document.
4. Joint Extraction Document-level RE抽取关系和证据。

Zhengyan Zhang

1. PLM

• ERNIE
• 结合知识图谱 xiaozhi

• 预训练过程。 改进fine-tune

1. ERNIE 外部实体理解
2. xiaozhi 结合图谱表示学习。捕捉实体相关知识的能力。2 loss:

1. 文本表示BERT-like、知识表示TransE-like
   文本+图谱补全都有提升

3. 下游任务指导的预训练。word mask，mask掉会有特别的关注。 如果mask介词，是没什么用的。
4. 预训练模型在fine tune的优化，模型冗余， attention head，影响不大。使用下游任务的输入进行模型剪枝。attention matrix中的交互强度，都比较低的话，其实没有捕捉到连接，或者说没什么用。-》 在fine tune之前选择head然后进行训练/性能，减少50%的head，效果还是不错的。

• 4.1如何增加多模态知识。实体的描述，实体的有关图片。 尝试知识、HowNet, ConceptNet. 构建违背常识的负例，增强模型的常识的理解。
• 4.2显式考虑图谱结构进行推理和文本理解。 Neural Symbolic Model。
• 4.3 更好的预训练，下游任务指导的预训练。 word selection-> text selection.
• 4.4改进Transformer， 下一代NLP模型。

• 动态神经网络 新的模型结构、更大容量、更强表达能力。 现在想法是增加CV模块增加模型捕捉能力。 更架构搜索不同

Xu Han
两周写一次周报。
Prevous:
1.知识获取存在的问题：
复杂结构问题、数据增长问题。
数据规模问题、学习能力、复杂语境、开放关系

多语言、远程监督降噪、 DIAG-NRE 人工标注、主动学习（做的差不多了，收益不大
少次学习、hybrid protipicalnetwork。 fewrel1.0/2.0 再做一个领域transfer。

transfer-> domain adaptation.
Few-shot \snow-ball

event extraction. 参数会有层次结构。

文档场景下的知识获取。

持续学习

工具包 OpenKE\ OpenNRE.

Next:
更多知识类型

1. 尝试知识学习
2. 无监督事件抽取
3. 事件数据集构建
   进一步推动知识获取能力
4. 多模态学习
5. 少次学习
6. 文档级别
7. 跨文档级别
8. 开放领域

持续学习问题：

1. 知识图谱表示的持续学习
2. 知识获取模型的持续学习
3. 知识指导的NLP
4. 知识推理的NLP
5. 工具包
6. 事件知识图谱。 以人为中心的知识图谱构建

2019 ACL EMNLP AAAI 13篇
ACL 投9 篇

寒假：

1. 继续工作
2. 阅读论文、总结
3. 2周报