我的论文笔记

第二章 Learning an expandable EMR-based medical knowledge network to enhance clinical diagnosis

2.1 核心问题

1. 科学问题

   • 智能诊断系统只考虑患者特征并利用分类模型进行诊断，模型对外表现为黑盒，不具有可信度。利用知识图谱减少对训练数据的依赖，提高诊断模型的鲁棒性。
   • 以往知识图谱的可靠性受限于数据库的规模以及包含的医学短语。
   • 从文本中识别并抽取特征的模型需要大量训练数据，且不具有可扩展性，无法针对新名词及知识进行改变。

2. 技术路线

   • 可扩展的医学知识图谱，通过知识融合和潜在关系挖掘实现对医学知识图谱的丰富。

2.2 摘要及引言

2.2.1 研究问题及意义

        构建一个基于电子病历可扩展的医疗知识图谱，可以提高临床辅助诊断的质量。

2.2.1 主要方法

• 利用中国人电子病历手工构建原始的医疗知识图谱；
• 利用递增的可扩展的框架来获得可根据新的电子病历进行扩展的医疗知识图谱，该框架通过外部知识融合与潜在知识挖掘技术实现；

2.2.3 挑战

        未提及或未找到。

2.2.4 实验结果

        该医疗知识图谱达到了0.837的准确率和0.719的召回率，该结果优于四种传统的机器学习方法，并且证明外部医学知识和潜在医学知识均有助于医学知识图谱的扩展和疾病辅助诊断。

2.2.5 结论

未提及

2.3 相关工作

1. 大多数智能辅助决策系统大量依赖电子病历数据，而且模型对外表现为黑盒，这导致结果不能令患者和医生信服。而本研究使用医学知识进行诊断，减少了对于训练数据的依赖。

   [53] Holzinger A, Biemann C, Pattichis CS, Kell DB. What do we need to build explainable AI systems for the medical domain? 2017. p. 1–28http://arxiv.org/abs/1712.09923.

2. 过去的工作仅关注于从新的资料中提取新的知识。而本文的工作不仅关注于提取新知识，也考虑利用新的资料对原有知识进行更新（如权重）。

   [41] Lenert Matthew C, Walsh Colin G, Miller Randolph A. Discovering hidden knowledge through auditing clinical diagnostic knowledge bases. J Biomed Inform
   

3. 目前的知识识别及抽取模型依赖于拥有大量特征的文本信息和大量的训练数据，但特征离散的文本信息导致模型训练非常困难。除此之外，训练好的模型会受限于训练数据，难以应对新的词语和知识。所以本研究希望设计一个可扩展的医学知识图谱。

   [8] Yang J-F, Yu Q-B, Guan Y, Jiang Z-P. An overview of research on electronic medical record oriented named entity recognition and entity relation extraction. Zidonghua Xuebao/Acta Automatica Sinica 2014;40(no. 8). https://doi.org/10.3724/SP.J.1004.2014.01537.
   [41] Lenert Matthew C, Walsh Colin G, Miller Randolph A. Discovering hidden knowledge through auditing clinical diagnostic knowledge bases. J Biomed Inform.
   [44] Zhang Y, Lin H, Yang Z, Wang J, Zhang S, Sun Y, et al. A hybrid model based on neural networks for biomedical relation extraction. J Biomed Inform 2018;81:83–92. https://doi.org/10.1016/j.jbi.2018.03.011.
   [54] Wang Y, Wang L, Rastegar-Mojarad M, et al. Clinical information extraction applications: a literature review. J Biomed Inform 2018;77:34–49. https://doi.org/10.1016/j.jbi.2017.11.011.
   

英文表达积累

Lenert et al. discover hidden knowledge in disease profile through auditing clinical diagnostic knowledge bases with the usage of the heuristic algorithm, to enhance differential diagnosis, patient case simulation and other applications [41]. Rotmensch et al. use probabilistic models to learn complex relationships rather than purely associative relationships between symptoms and diseases to build a health knowledge graph from EMRs, which is proved feasible [18]. Such recognition and extraction
models relied on rich features of context information, requiring sufficient training data. However, considering the heterogeneity of different medical resources, the features distribution is diverse. This leads to that the models need to be retrained in new labeling data, which is expensive and time-consuming.

如何阐述他人工作：discover 成果 through 平台/数据 with the usage of 模型/方法$\leftrightarrow$use 方法/模型/技术 to learn 成果

2.4 方法

2.4.1 数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uPfSYNjn-1624278646144)(https://i.loli.net/2021/06/07/hIGTag3imk9f7HA.png)]

        上图中矩形代表数据实体，圆角矩形表示对数据进行的操作。

• 输入（特征）：中国人电子病历(CEMRs)，马尔科夫逻辑网(MLN)

• 输出（预测）：可扩展的医学知识图谱，知识图谱完整度，疾病诊断召回率、准确率、$F_1$ Score等

2.4.2 模型

• 结构：

        在结构部分的图中，圆角矩形代表对应的模型，直角矩形表示使用的数据，中间有竖线的矩形代表具体的核心方法，有曲线边的图形代表对应模型的作用。

​ 1. 量化推理关系的表达（马尔可夫逻辑网）
KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ P(S=s,D=d)&=\f…

$$Z=\sum _{s_i\in s,d_j\in d}exp(\sum _{{\pi }_{ij}\in MK}\omega ({\pi }_{ij})n(S_i,D_j))\text{\hspace{1em}(2)}$$

        上述公式中，$S$表示症状(symptom)，$D$表示疾病(diease)，$\pi (ij)$表示症状$S_i$与疾病$D_j$的对应关系（即知识），$\omega ({\pi }_{ij})$表示关系的权重（初始值通过$max$-$marginmethod$求得，在随后两步进行更新），$n({\pi }_{ij})$表示关系${\pi }_{ij}$的特征值（当存在$S_i\Rightarrow D_j$时为1，否则为0），$MK$表示所有医学知识的集合。

        由公式(1)和公式(2)可以得到某位患者患病概率如下：
KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ P(D_j=1,S=s|MB…
        公式(3)中，$M{B}_j$表示所有症状节点的集合，这些症状节点均与疾病$D_j$相连，并且它们的邻居也包括其中。

2. 外部知识融合

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EI8txJ1N-1624278646149)(https://i.loli.net/2021/06/07/1B59u6oOGq3rmsp.png)]

   相似度函数：利用$Levenshteindistance$进行计算；

   余弦相似度：$\phi (S_i,D_j)=\frac{V\text{V}V(S_i)\cdot V\text{V}V(D_j)}{|V\text{V}V(S_j)|\times |V\text{V}V(D_j)|}$，其中$V\text{V}V(S_i)$是症状$S_i$在临床指南中的向量表示，例如在第 $k$ 个指南中出现该症状，则症状向量的第 $k$ 维表示为“1”。

   Noisy-or gate: $w({\pi }_{ij})=1-{\prod }_{k=1}^{n}M{S}_k=1-(1-\phi (S_i,D_j)(1-w^{\ast }({\pi }_{ij}))$，原理有些类似于异或门。

3. 潜在知识挖掘

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iKmZ06eR-1624278646150)(https://i.loli.net/2021/06/07/Z1caRg4nbEOkfUv.png)]

   Katz指数：$w({\pi }_{ij})={\sum }_{pat{h}_i\in path}{\sum }_D{\epsilon }^{d}w({\pi }_{pat{h}_i}^d)$，其中$pat{h}_i$表示连接两个节点且长度为 $i$ 的通路，而$path$表示连接两个节点的所有通路，D表示通路$pat{h}_i$的路径长度，$\epsilon$ 表示衰减系数，$w({\pi }_{pat{h}_i}^d)$ 表示通路$pat{h}_i$中第 $d$ 段关系的权重。${\epsilon }^{d}w({\pi }_{pat{h}_i}^d)$蕴含了Katz指标的内涵，即距离起点越远的关系其权重在计算新关系权重时占比越小。

• 损失函数（需结合公式(3)一起理解）

1. 误差表达：
   $$error(D_j=d_j,S=s)=\frac{1}{2}(d_j-P(D_j=d_j,S=s|MB(D_j)){)}^2\text{\hspace{1em}(4)}$$
   $d_j$为“1”时表示该诊断正确，模型目标在于降低误差值。

2. 梯度下降：
   KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\frac{\partial}…
   公式(5)为误差关于权重的梯度，其中${N\text{N}N}_d=n(S_i,D_j=d_j)-n(S_i,D_j\ne d_j)$，当关系${\pi }_{ij}$为真时，${N\text{N}N}_d$为正数，则公式(6)的值为正，公式(5)的值为负，即误差随权重增加而减少，由此此可得权重的更新公式如下：
   KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲w(\pi_{ij})_t\l…
   公式(7)表示$t$时刻的权重$w({\pi }_{ij}{)}_t$为$t-1$时刻的权重$w({\pi }_{ij}{)}_{t-1}$减去误差对权重的偏导。

• Motivation

  相关工作中的第三点。

2.5 实验

2.5.1 实验目的

1. 评价医学知识图谱的表现（图的完整度，疾病诊断效果）；
2. 医学知识图谱的诊断效果是否优于传统机器学习方法；
3. 潜在知识挖掘是否可以提高医学知识图谱的诊断效果；

2.5.2 实验内容

• 医学知识图谱表现评价

  1. 图的完整度：症状实体数量，疾病实体数量，关系的数量；
  2. 疾病诊断效果：召回率，准确率，F1_score；

• 多种机器学习方法的比较

  1. 将四种常见的机器学习方法（逻辑回归，贝叶斯，支持向量，神经网络），四个阶段形成的知识图谱（Original-MKN, Original-MKN/Integrating, Original-MKN/Mining, Expandable MKN）进行横向对比；
  2. 召回率，准确率，F1_score

• 潜在知识挖掘的作用

  1. 将模型构建过程中每一步形成的知识图谱进行纵向对比；
  2. 准确率，列举代表性疾病的诊断结果， DCG曲线；

2.5.3 实验结果分析

1. 根据实体数量变化可知，知识融合过程引入了更多的实体，而知识挖掘过程则发现了更多的潜藏关系；
2. 观察潜在知识挖掘中的衰减系数$\epsilon$和学习过程中的学习系数$\tau$与评价得分的关系，发现了$\epsilon$和$\tau$合适的取值范围；
3. 比较多种机器学习方法间的准确率，召回率和F1_score，发现医学知识图谱均有较好的表现；
4. 知识图谱的纵向对比显示，最终形成的可扩展知识图谱可以诊断更多疾病，DCG值也得到了提升，但部分疾病诊断准确率并未提升；
5. 探索了电子病历数量，知识挖掘中预定义的最大长度和疾病诊断效果的关系，发现最佳电子病历数量，预定义长度越大可能导致噪音知识增多。

英文表达积累

After the Original-MKN was expanded with external knowledge and potential knowledge, some new
diseases can be diagnosed, as with the case of “diffuse brain injury,” and accuracy increases, as with the case of “hypertension.” However,the accuracy for some diseases is reduced; for example, “systemic lupus
erythematosus,” and some diseases could not be diagnosed yet, such as chronic renal failure." The knowledge amount of most diseases is increasing while some amounts are reducing such as “systemic lupus er-
ythematosus.” The average accuracy of Original-MKN is “0.352” and the expandable MKN is “0.414”. Furthermore, there is 13.6 % diseases that can be diagnosed in the expandable MKN, while these diseases are hardly diagnosed in Original-MKN because they do not have enough knowledge.

”例如“表达：as with the case of$\leftrightarrow$such as$\leftrightarrow$for example。

表达数据变化：and accuracy increase, as case of "diffuse brain injury." However, the accruracy for some diseases is reduced.

表述结果反应出的现象：Furthermore, there is 13.6 % diseases that can be diagnosed in the expandable MKN, while these diseases are hardly diagnosed in Original-MKN because they do not have enough knowledge.

2.6 结论

• 意义/价值/优势：

  1. 该研究构建的可扩展医学知识图谱更加完整，拥有更多的疾病、症状实体以及它们之间的关系；

  2. 该研究得到的可扩展医学知识图谱和传统诊断模型相比，拥有更高的准确性；

• 不足/工作展望：

  1. 该研究得到的模型会出现诊断错误，还需补充更多的知识；
  2. 在该项研究中，只对ICD编码长度大于4的疾病进行诊断；
  3. 在未来，可以引入更加复杂的知识图谱，可以利用检查信息对疾病进行诊断；
  4. 在以后研究中，可以根据症状排序诊断不同的疾病，并且在疾病之间建立联系；

英文表达积累

重复优点的不同表达：

Additionally, the MKN is expanded in an incremental manner, because the knowledge amount is increasing when new CEMRs join in, and new type of diseases can be diagnosed.

Our MKN contains more disease types and symptom types, as well as their relationships.

Expandable MKN has a better diagnosis performance that achieves a precision of 0.837 and a recall of 0.719.

Furthermore, our MKN performs better than traditional diagnosis models, which has both higher precision and better interpretation with its network structure.

        数量增加：sth amount is increasing$\leftrightarrow$contains more sth;

        表现更好：has a better diagnosis performance which 具体描述多好$\leftrightarrow$perfrom better than sth, which 具体描述多好

不足/未来展望的表达：

Despite no disease-disease links in our network, two disease entities can be indirectly connected through symptom entities.

Our potential knowledge mined by Katz index has utilized the prior "indication" relationships, which ensure the precision of the new knowledge. But at the same time, we also lost some hidden relationships in traning CEMRs.

In this work, we just diagnosed the coarse-grained diseases (the ICD code length is 4). In the future, we can introduce much complex knowledge such as how physical examinations indicate the diagnosis, whether the order of symptoms indicates different diseases and the interactions between diseases.

        不足：Despite 不足$\leftrightarrow$But at the same time, 不足$\leftrightarrow$But 不足$\leftrightarrow$We just 不足；

        展望：In the furture, we can introduce 完善之处$\leftrightarrow$For the future expansion, 完善之处；

补充

论文链接_1	论文（原版）链接 提取码：t7sc
论文链接_2	论文（有笔记）链接 提取码：ob3e
下期预告
题目	Rapid training data creation with weak supervision
关键词	Snorkel, Weak supervision
作者	$AlexanderRatne{r}^1\cdot StephenH.Bac{h}^{1,2}\cdot HenryEhrenber{g}^1\cdot JasonFrie{s}^1\cdot SenW{u}^1\cdot ChristopherR{e}^1$
期刊	The VLDB Journal
发表时间	2019/06/15