An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records
无监督从电子健康病例预测患者未来的健康
摘要
电子健康记录（EHR）的二次使用有望推动临床研究的发展和改善告知临床决策。汇总和表示患者数据方面的挑战阻止了使用EHR进行预测建模的广泛实践。在这里，我们介绍了一种新颖的无监督的特征学习方法从EHR数据得出通用的患者代表促进临床预测建模。特别是三层去噪自动编码器堆栈用于捕获约EHRs的汇总EHR中的分层规则和依存关系来自西奈山数据仓库的700,000名患者。结果是代表我们称为“深患者”。我们通过评估患者患上各种疾病的可能性。我们对76,214名测试患者进行了评估包括来自不同临床领域和时间窗的78种疾病。我们的结果显着胜过使用基于原始EHR数据和替代特征的表示所实现的功能学习策略。严重糖尿病，精神分裂症和各种癌症的预测性能表现最佳。这些发现表明，将深度学习应用于EHR可以得出提供更好的临床预测并可以提供机器学习的患者代表增强临床决策系统的框架。
精密医学的主要目标是为患者开发定量模型，以用于预测
健康状况，以及帮助预防疾病或残疾。在这种情况下，电子健康记录（EHR）提供了加快临床研究和预测分析的巨大希望1。最近的研究表明，中学EHR的使用已使以数据为依据的药物作用和相互作用预测成为可能2、2型糖尿病的鉴定亚组3，自闭症谱系障碍中合并症簇的发现4和募集方面的改善用于临床试验的患者5。但是，基于现代机器学习技术的预测模型和工具尚未在临床决策支持系统或工作流程中广泛且可靠地使用6-9。EHR数据由于其高维，噪声，异质性，稀疏性，不完整性，随机误差和系统性偏差而难以表示和建模7、10、11。而且，相同的临床表型可以是用不同的代码和术语表示。例如，可以通过血红蛋白A1C的实验室值大于7.0，ICD-9代码为250.00来确定被诊断为“ 2型糖尿病”的患者，自由文本临床注释中提到的“ 2型糖尿病”等。这些挑战使它成为现实机器学习方法难以识别可为现实世界提供预测性临床模型的模式应用程序12。预测算法的成功很大程度上取决于特征选择和数据表示[12,13]。电子病历的一种常见方法是让领域专家指定要查找的模式（即学习任务）和目标），并以特殊方式指定临床变量7。尽管在某些情况下合适，监督定义的特征空间缩放比例很差，不能很好地推广，并且错过了发现新颖的图案和功能。为了解决这些缺点，已经提出了以数据驱动的方式在EHR中选择特征的方法14-16。这些方法的局限性在于，通常将患者代表为美国纽约州西奈山伊坎医学院遗传与基因组科学系。
2美国纽约州西奈山伊坎医学院哈里斯精密健康中心。 3伊坎研究所
美国纽约州西奈山伊坎医学院基因组学和多尺度生物学研究。对应
且材料要求应联系J.T.D. （电子邮件：[email protected]）
收到：2016年1月28日
接受：2016年4月27日
发布时间：2016年5月17日
打开
www.nature.com/scientificreports/
科学报告| 6：26094 | DOI：10.1038 / srep26094 2
由临床数据仓库中可用的所有数据描述符组成的二维向量。此表示是稀疏的，嘈杂的和重复的，这使其不适合建模层次信息
嵌入或潜藏在电子病历中。
无监督特征学习尝试通过自动识别数据中的模式和依赖性来学习监督特征空间定义的局限性，以学习一种紧凑且通用的表示形式，
在构建分类器或其他预测变量时，更容易自动提取有用的信息。尽管
文本，多媒体和市场营销功能学习的成功12，以及深度学习的日益普及
学习17（即基于神经网络层次结构的学习），这些技术尚未得到广泛使用
与EHR数据。在这里，我们表明，将无监督的深度特征学习应用于预处理的患者级别的汇总EHR数据，可以使机器更好地理解并显着改善表示形式。各种临床状况的预测性临床模型。本文提出了一个新颖的框架，我们称之为“深度患者”，以一组一般特征来代表患者，通过深度学习方法从大型EHR数据库中自动推断出这些信息。特别，一个由一堆去噪自动编码器组成的深度神经网络以一种无监督的方式处理EHR，该EHR捕获了数据中的稳定结构和规则模式，它们组合在一起构成了深刻的患者代表。深度患者不受领域限制（即自学习以来与任何特定任务无关）在一个大型的多域数据集上），不需要任何额外的人工，并且可以轻松地应用于有监督和无监督的不同预测应用程序。证明建议的有效性表示，我们将深度患者应用于预测患者将来的疾病，并表明深度患者始终如一大规模地胜过原始的EHR表示以及常见的（浅）特征学习模型真实世界的数据实验。
材料与方法
本节介绍了深入的患者方法，并介绍了为评估患者的益处而实施的流程
在预测未来疾病的任务中具有这种代表性。
深入的患者代表。
图1显示了派生深层次的高级概念框架患者代表。首先从临床数据仓库中提取EHR，然后对其进行预处理以识别和确定将临床相关表型标准化，并按患者载体分组（即原始表示，图1A）。每可以仅通过单个矢量或通过在例如预定义的时间上计算出的矢量序列来描述患者视窗。从所有患者那里获得的向量集合被用作特征学习算法的输入发现一组高级通用描述符（图1B）。然后代表数据仓库中的每个患者使用这些功能，这样的深度表示可以应用于不同的临床任务（图1C）。我们在深度学习架构中使用多层神经网络来推导患者表示（即，耐心的病人）。网络的每一层都经过训练以产生所观察到的更高层次的表示通过优化本地无监督条件，基于它从下一层作为输入接收的数据来确定模式（图2）。每个级别产生的输入模式表示都比上一个级别更抽象因为它是通过组合更多的非线性运算获得的。此过程大致类似于认知的神经科学模型，该模型将较低级别的特征分层组合为统一而紧凑的表示形式。链的最后一个网络输出最终的患者代表。
去噪自动编码器。
我们使用一堆降噪自动编码器（SDA）实现了我们的框架，
逐层独立训练的； 架构中的所有自动编码器都共享相同的结构
和功能18。 简而言之，自动编码器获取输入x∈[0，1] d并将其首先转换（使用编码器）为
通过确定性映射的隐藏表示y∈[0，1] d’：
通过θ= {，W b}进行参数化，其中s（）⋅是名为“激活函数”的非线性变换（例如S型，切线），W是权重系数矩阵，b是偏置矢量。 然后映射潜在表示y
（使用解码器）返回到重构的向量z∈[0，1] d，例如：
其中θ’’= {，W b’}和W W’= T（即束缚权重）。希望代码y是一个分布式表示，
沿数据变化的主要因素捕获坐标。训练模型时，算法
搜索使x和z之间的差异最小的参数（即重构误差L z H（，x））。
通常对自动编码器进行训练，以从嘈杂的初始数据版本（即去噪）中重建输入。
为了防止过度拟合。这是通过首先破坏初始输入x以通过随机映射through x〜qD（）x x获得部分破坏的版本done x来完成的。然后，与基本自动编码器一样，将损坏的输入coder x映射到隐藏代码=
y fθ（）x，然后到解码表示z（请参阅补充附录）
用于图形表示的在线）。我们使用掩蔽噪声算法18实现了输入破坏，
其中随机选择的x的元素y的分数y变为零。这可以看作是模拟
电子病历中遗漏的成分（例如未记录在患者病历中的药物或诊断），
因此，假设输入的临床数据是实际临床情况的降级或“嘈杂”版本。然后，从该输入模式中删除有关那些被遮罩的组件的所有信息，并对自动编码器进行降噪
可以看作是受过训练，可以人工填补这些空白。
图1.用于通过无人监督获得深层患者代表的概念框架
大型EHR数据仓库的深度学习。 （A）预处理阶段以获取原始患者陈述
从EHR。 （B）原始表示由无监督的深层架构建模，从而形成一个集合
一般性和健壮性。 （C）将深度特征应用于整个医院数据库以得出患者
可以应用于许多临床任务的表示形式。
300/5000
图2.将原始数据集转换为原始数据的无监督深度特征学习管道图
通过多层神经网络进行深层患者表征。 神经网络的每一层都是
经过培训，可以根据上一层的结果生成更高级别的表示。
在训练数据集上优化了模型θ和θ’的参数，以最大程度地减少平均重建误差，
159/5000
其中L（）⋅是损失函数，N是训练集中的患者数。 我们使用了重建
交叉熵函数作为损失函数，即
优化是通过小批量随机梯度下降来进行的，该迭代通过迭代的小子集进行。
训练患者并在与损失函数梯度相反的方向上修改参数
最小化重建误差。 然后将学习到的编码函数fθ（）⋅应用于纯输入x和
生成的代码y是分布式表示形式（即SDA中后续自动编码器的输入
架构或最终的深层患者代表）。
评估设计。
特征学习算法通常在受监督的应用程序中进行评估，以获取
可用的手动注释标签的优势。在这里，我们使用西奈山数据仓库来学习
深层特征，我们在预测患者未来疾病时对其进行了评估。作为医疗和临床工作的一部分，西奈山卫生系统会生成大量结构化，半结构化和非结构化数据
操作，包括住院，门诊和急诊室就诊。系统中的患者可以
除非他们移动或更改了保险，否则只要长达12年的随访。自2003年起，我们的卫生系统就完全实施了电子记录。这些数据与2003年前就诊的患者有关
也已迁移为电子格式，但我们可能缺少某些医院就诊的详细信息（即某些诊断
或药物可能尚未记录或转让）。整个EHR数据集包含约4.2
截至2015年3月，有1百万名身份不明的患者在获得IRB批准后可以使用
HIPAA准则。我们保留了所有至少一种以数字ICD-9表示的被诊断疾病的患者
在1980年至2014年（含）之间。这导致了大约120万患者的数据集，每个患者都有一个
平均88.9条记录。然后，我们将截至2013年12月31日的所有记录（即“分割点”）视为培训
数据（即34年的培训信息）以及2014年的所有诊断信息作为测试数据。
电子病历处理。
对于数据集中的每位患者，我们保留了一些基本的人口统计详细信息（即年龄，
性别和种族），以及以结构化格式提供的常见临床描述符，例如诊断（ICD-9
代码，药物，程序和实验室测试，以及在拆分点之前记录的自由文本临床注释。
使用开放式生物医学注释器对所有临床记录进行预处理，以获取用于
程序和实验室测试，基于品牌名称和剂量的标准化药物，以及从自由文本注释中提取临床概念19。特别是，开放式生物医学注释器及其RESTful API利用了
美国国家生物医学本体论中心（NCBO）BioPortal20，其中提供了大量本体，包括
SNOMED-CT，UMLS和RxNorm，从文本中提取生物医学概念并进行标准化
和标准版本21。
规范化记录的处理因数据类型而异。用于诊断，药物，程序和
实验室测试中，我们仅对患者EHR中每个规范化代码的存在进行了计数，旨在促进
相关临床事件的建模。自由文本临床注释需要更复杂的处理。我们申请了
LePendu等人22中描述的工具，该工具可以识别被否定的标签以及与家族相关的标签
历史。注释中显示为否定的标签被认为无关且已被丢弃5。否定标签
使用NegEx进行了识别，NegEx是一种正则表达式算法，该算法实现了多个表示否定的短语，
筛选出包含错误显示为否定短语的短语的句子，并限制
否定词组23。与家族史相关的标签仅被标记为此类标签，并与
直接与患者相关的标签。然后，我们分析了时间连续音符表示中的相似性
删除重复的信息（例如，错误记录两次的笔记）24。
对解析后的注释进行进一步处理，以减少表示的稀疏性（提取了大约200万个标准化标签），并获得了嵌入式临床信息的语义抽象。至
为此，我们使用主题建模25对解析的注释进行了建模，主题建模25是一个无监督的推理过程，可捕获
文档中单词共现的模式以定义主题并将文档表示为多项式
这些主题。主题建模已用于概括临床注释并改善自动处理
几项研究中的患者数据（例如，参见5,26–28）。我们使用潜在的Dirichlet分配作为我们的实现
主题建模29，我们通过困惑分析估算了超过一百万个随机主题的数量
笔记。我们发现300个主题获得了最佳的数学概括；因此，每个注释最终被归纳为300个主题概率的多项式。对于每个患者，我们最终保留了一个
基于主题的表示形式是对拆分点之前所有可用音符进行平均的结果。
数据集
将具有至少一个记录的ICD-9代码的所有患者分为三个独立的数据集以进行评估（即，每个患者仅出现在一个数据集中）。首先，我们忍住具有81214个例
2014年分配了至少一项新的ICD-9诊断，并在此之前至少记录了10条。这些病人组成
为监督评估（即未来疾病）设置验证（即5,000名患者）和测试（即76,214名患者）
预测）。特别是，2014年的所有诊断均用于评估使用
在分割点之前记录的患者数据（即根据患者临床状况进行的预测）。的要求
www.nature.com/scientificreports/
科学报告| 6：26094 | DOI：10.1038 / srep26094 5
每位患者至少设置十条记录，以确保每个测试用例都具有最低限度的临床病史
可能导致合理的预测。然后，我们随机抽取了200,000名
分割点之前至少有5条记录用作疾病预测实验的训练集。
我们使用ICD-9代码来说明对患者的疾病诊断。但是，由于可以引用不同的代码
对于相同的疾病，我们将代码映射到西奈山使用的疾病分类结构
ICD-9包含231种一般疾病定义的词汇表30。该列表经过过滤以仅保留那些
至少有10名受过训练的患者，并由执业医师手动打磨以去除所有
不能仅从所考虑的EHR标签中进行预测，因为与社会行为（例如HIV）和
外部生活事件（例如，伤害，中毒）或过于普遍的事件（例如，“其他形式的癌症”）。决赛
词汇表包括78种疾病，在线附录B中对此进行了报道。
最后，我们使用剩余的具有以下特征的患者创建了特征学习算法的训练集：
到2013年12月，至少删除了5条记录。选择删除每名患者至少5条记录
一些无用的情况，以减少训练集的大小，从而减少计算时间。这个
得出包含704,587名患者和60,238个临床描述符的数据集。描述符出现在更多
从数据集中删除了超过80％的患者或少于5例的患者，以避免出现偏见和
学习过程中的噪音导致最终词汇量为41,072个描述符。总体而言，原始患者数据集
用于特征学习的由2亿个非零条目组成（即，
患者描述矩阵）
患者表征学习。
将SDA应用于704,857名患者的数据集以得出深度
患者代表。首先将数据集中的所有特征值归一化为介于零和一之间
在保留零项的同时减少数据的方差。我们在深度架构的所有自动编码器（无论层如何）中都使用了相同的参数，因为这种配置通常会导致与
每层具有不同的参数并且更易于评估18,31。特别是，我们发现使用500
每层隐藏的单位和噪声破坏因子ν= 5％会导致良好的泛化误差并保持一致
使用验证数据集调整模型时的预测。我们使用了由三部分组成的深度架构
自动编码器层和S型激活功能（即“ DeepPatient”）。在线补充附录C中报告了使用不同层数进行疾病预测的初步结果。深层特征
然后将模型应用于训练和测试集以进行监督评估；因此，这些数据集中的每个患者都是
用500个特征的密集向量表示。
我们将深度患者表示与其他具有
在包括医学在内的各个领域展示出实用性12。所有这些算法都应用于缩放
数据集，并且只对原始数据进行了一次转换（即浅层特征学习）。在
特别是，我们考虑了主成分分析（即具有100个主成分的“ PCA”），k均值
聚类（即具有500个聚类的“ K均值”），高斯混合模型（即具有200个混合和完整的“ GMM”
协方差矩阵）和独立成分分析（即具有100个主要成分的“ ICA”）。特别是，PCA使用正交变换将一组可能相关的变量的观测值转换为
一组线性不相关的变量，称为主成分，小于或等于数字
原始变量。第一个主成分说明了数据中最大的可变性，并且
每个后续分量在正交的约束下又具有最大的方差
到前面的组件。 K均值将未标记的数据分组为k个簇，以使每个数据点
属于具有最均值的聚类。在特征学习中，聚类的质心用于产生
特征，即每个特征值是数据点到每个簇质心的距离。 GMM是一个概率
假设所有数据点均由有限数量的高斯分布的混合物生成的模型
参数未知。 ICA使用独立的非高斯分量的加权和表示数据，使用信号分离算法从数据中获悉。就像DeepPatient一样，
通过优化学习错误，通过初步实验确定了每个模型的潜在变量
或期望值以及在验证集中获得的预测结果。我们还包括了比较
在移除频繁和稀有变量之后（即，
“ RawFeat”中有41,072个条目）。
未来疾病预测。
预测患者在给定条件下可能罹患某种疾病的可能性
他们目前的临床状况，我们使用数据集实施了针对每种疾病训练的随机森林分类器
200,000名患者（一对一学习）。 我们之所以使用随机森林，是因为它们通常表现出比其他标准分类器更好的性能，易于调整且对过度拟合具有鲁棒性32,33。 通过对验证数据集进行的初步实验，我们将每个疾病分类器调整为具有100棵树。 对于测试集中的每个患者
（以及所有不同的表示形式），我们计算了词汇中每种疾病的发展概率
（即，每个患者都由疾病概率向量代表）。
结果
我们在两个适用的临床任务中评估了疾病预测：疾病分类（即按疾病评估）和患者疾病标签（即按患者评估）。 对于每个患者，我们仅考虑预测
的新疾病，放弃对疾病的重新诊断。 如果没有报告，则所有
实验上限是一个。
按疾病评估。
评估深层患者代表在预测时表现如何
患者是否患有新疾病，我们评估了分类器确定受试患者的能力
可能在一年的间隔内被诊断出患有某种疾病。 对于每种疾病，我们都进行评分
由测试集中的所有患者（即76,214位患者）获得，并测量接收器操作下的面积
表1.根据ROC曲线下面积（AUC-ROC），准确性和准确性进行的疾病分类结果
F分数。 （*）与相应的次佳测量值的差异具有统计学意义（p <0.05，
t检验）。提姆
表2.使用患者数据在疾病分类实验中获得的ROC曲线下的面积
用原始描述符（“ RawFeat”）表示，并通过主成分分析进行预处理
（“ PCA”）和三层堆叠式降噪自动编码器（“ DeepPatient”）。
特征曲线（即AUC-ROC），准确性和F得分34。 ROC曲线是真实阳性率与
在一组预测中发现的假阳性率。通过对ROC曲线积分来计算AUC
以0.5为界。准确度是真实结果（真实肯定和真实否定）在总结果中所占的比例
检查的案件数。 F分数是分类精度和查全率的调和平均值，其中精度
是正确阳性结果的数量除以所有阳性结果的数量，而回忆是
纠正阳性结果除以应返回的阳性结果数。精度和
F得分需要一个阈值来区分正面和负面预测；我们将该阈值设置为0.6，
该值优化了验证集中所有表示形式的精度和查全率之间的权衡
减少误报的数量。
表1报告了所有不同数据表示形式的结果。
DeepPatient优于RawFeat获得的结果（即，没有将特征学习应用于EHR数据）。特别是DeepPatient的平均AUC-ROC为0.773，而RawFeat仅为0.659（即提高了15％）。准确度和F得分分别提高了15％和54％，表明
可以通过对EHR进行深度处理来改善预测（即实际患该病的患者）
建筑。此外，DeepPatient始终且显着优于所有其他功能学习方法。表2比较了RawFeat，PCA和DeepPatient针对10种疾病的子集获得的AUC-ROC（请参见
在线获取有关整个疾病词汇的结果的补充附录D）。当DeepPatient
PCA始终胜过RawFeat，在某些疾病（例如“精神分裂症”，
“多发性骨髓瘤”）。总体而言，DeepPatient报告的每种疾病的AUC-ROC得分最高，但“
大脑和神经系统”，其中PCA的表现稍好（AUC-ROC为0.757对0.742）。很大
某些疾病的AUC-ROC得分有所提高（即超过60％），例如“
睾丸”，“注意力缺陷和破坏性行为障碍”，“镰状细胞性贫血”和“前列腺癌”。相反，某些疾病（例如“高血压”，“无并发症的糖尿病”，“脂质代谢紊乱”）难以分类，所有代表的AUC-ROC得分均低于0.600。
由患者评估。
在此实验中，我们检查了DeepPatient在
特定于患者的水平。 为此，我们仅保留得分大于0.6的疾病预测（即，
标签），并针对所有患有以下疾病的患者在不同的时间窗上测量了这些注释的质量
那个时期的确诊。 特别是，我们考虑了30位（即16,374名患者）内分配的诊断，
表3.在不同时间间隔内分配的诊断的患者疾病标签结果
k的精度，k = 1、3、5； UppBnd显示可获得的最佳结果（即所有正确的诊断
分配给所有患者）。 （*）与相应的第二最佳测量值的差异在统计上
显着性（p <0.05，t检验）。
图3.在疾病标签实验中，不同患者代表的R精度
在几个预测时间间隔内（以天数表示）。
我们为患者报告结果
用原始描述符（RawFeat）表示，并通过主成分分析（PCA）进行预处理，
独立成分分析（ICA），高斯混合模型（GMM），k均值聚类（K-Means）和
三层堆叠式去噪自动编码器（DeepPatient）。
60天（即21,924例患者），90天（即25,220例患者）和180天（即33,607例患者）。总的来说，我们发现
在检查的所有时间间隔内，DeepPatient始终优于其他方法（表3和图3）。
特别是，我们首先测量了at-k的精度（Prec @ k，k等于1、3和5），将其平均
最大疾病得分（表3）内每个时间窗口内分配给每个患者的正确疾病的百分比。
在每次比较中，我们都包含了理论上限（即“ UppBnd”）的模型，该模型报告了最佳
可能的结果（即将所有正确的疾病分配给每个患者）。可以看出，DeepPatient获得了
在建议每位患者三种或三种以上疾病时，无论时间间隔如何，约有55％的预测得到纠正。
此外，当我们将DeepPatient与上限进行对比时，我们发现，每增加一个，DeepPatient就会提高5–15％
始终使用其他方法。最后，我们报告R精度，即所分配疾病的R精度。
其中，R是在所考虑的时间间隔内以事实为依据的患者诊断次数34（图3）。也
在这种情况下，与其他模型相比，DeepPatient获得了5％到12％的显着改进（
ICA获得次佳的效果）。
讨论区
我们提出了深度学习的新应用，以从我们称为EHR的患者中获取预测性的患者描述
“深层的病人”。此方法捕获数据中的分层规则和相关性以创建紧凑的，
可在预测性临床应用中有效使用的通用患者特征集。结果
时间间隔指标UppBnd
病人代表
RawFeat PCA ICA DeepPatient
30天（16,374
耐心）
Prec @ 1 1.000 0.319 0.343 0.345 0.392 *
PREC @ 3 0.492 0.217 0.251 0.255 0.277 *
PREC @ 5 0.319 0.191 0.214 0.215 0.226 *
60天（21,924
耐心）
PREC @ 1 1.000 0.329 0.349 0.353 0.402 *
PREC @ 3 0.511 0.221 0.254 0.259 0.282 *
PREC @ 5 0.335 0.199 0.216 0.219 0.230 *
90天（25,220
耐心）
PREC @ 1 1.000 0.332 0.353 0.360 0.404 *
PREC @ 3 0.521 0.243 0.257 0.262 0.285 *
PREC @ 5 0.345 0.201 0.219 0.220 0.232 *
180天（33,607
耐心）
Prec @ 1 1.000 0.331 0.361 0.363 0.418 *
Prec @ 3 0.549 0.246 0.261 0.265 0.290 *
PREC @ 5 0.370 0.207 0.221 0.224 0.236 *
表3.在不同时间间隔内分配的诊断的患者疾病标签结果
的精密在k值，其中k = 1，3，5; UppBnd显示可获得的最佳结果（即所有正确的诊断
分配给所有患者）。 （*）与相应的第二最佳测量值的差异在统计上
显著（P <0.05，t检验）。
图3.在疾病标签实验中，不同患者代表的R精度
在几个预测时间间隔内（以天数表示）。我们为患者报告结果
用原始描述符（RawFeat）表示，并通过主成分分析（PCA）进行预处理，
独立分量分析（ICA），高斯混合模型（GMM）中，k-means聚类（K均值），并且
三层堆叠式去噪自动编码器（DeepPatient）。
www.nature.com/scientificreports/
科学报告| 6：26094 | DOI：10.1038 / srep26094 8
实际上，从未来疾病预测中获得的结果始终比其他特征学习模型获得的结果要好，并且不仅是使用原始EHR数据（即将机器学习应用于EHR的常用方法）。这表明使用深度序列的非线性转换对患者数据进行预处理
帮助机器更好地理解EHR中嵌入的信息并有效进行推理
出来。这为临床预测建模提供了新的可能性，因为可以对EHR数据进行深度处理
学习还可以帮助改善文献中先前提出的临时框架，以使其更有效
预测。此外，深病人导致更加紧凑和低维表示比
原始的EHR，使临床分析引擎可以随着医院数据的不断增长而更好地扩展
仓库。
上下文和意义。
深度学习最近被应用于医学和基因组学领域以进行重构
大脑回路35并预测潜在药物分子的活性36非编码突变的影响
DNA的基因表达37、38，以及DNA和RNA结合蛋白的序列特异性39。尽力而为
据我们所知，深度特征学习尚未应用于派生患者的通用表示
来自汇总的EHR数据。深度信仰网络最近被应用于小型中文临床数据集
患者建议针灸治疗，针对特定患者进行监督优化的功能
任务40。不同的是，我们应用深度学习从大型数据集获取患者表示，
未针对任何特定任务进行优化，并且可以适合不同的临床应用。
我们使用堆叠式去噪自动编码器（SDA）来处理EHR数据并了解患者的深层表现。 SDA是具有中央层以重构高维的三层神经网络的序列
输入向量12、17、18、41。据我们所知，SDA从未在临床领域中得到应用。一种
没有降噪组件的两层堆叠式自动编码器应用于电子病历，以纵向建模
血清尿酸测量的顺序，以提示多种人群亚型并区分
尽管尚未针对任务进行优化，痛风与急性白血病的尿酸特征仍然存在42。在这里我们应用SDA
并通过特征学习获得患者的一般代表，而无需关注特定的临床
描述符或域。
通过预测患者未来的疾病来评估患者的深层代表性-建立实用的模型
临床决策中的任务。先前的研究在几个特定领域研究了疾病预测，
包括心血管疾病43，心力衰竭9，骨骼疾病44，慢性肾脏疾病45，以及诊断代码分配46,47。但是，先前的努力通常会开发出高度适合于
特定疾病或表型。相反，我们将我们的方法的评估重点放在不同的疾病上，以显示
深入的患者框架学习不是特定于域的描述符。
潜在的应用。
深度的患者代表改善了对不同类别的预测
疾病。这表明所学特征以一种通用且有效的方式描述患者
由不同领域的自动化方法处理。我们认为，可以推断出深刻的患者代表性
从电子病历中受益还可以使其他任务受益，例如个性化处方，治疗建议，
和临床试验招募。与针对特定任务进行监督优化的表述相反，a
完全无监督的面向矢量的表示形式也可以应用于其他无监督的任务，例如
作为患者的聚类和相似性。这项工作是迈向下一代预测性临床系统的第一步，该系统可以（i）扩展到包括数百万至数十亿的患者记录，并且（ii）使用单一的分布式患者代表来有效地支持临床医生的日常活动-而是比多个系统
使用不同的患者表征。在这种情况下，将部署深度学习框架
到EHR系统，模型将不断更新，以适应患者人数的变化。
但是，由于神经网络学习的特征不容易解释，因此该框架将
与功能选择工具搭配使用，以帮助临床医生了解推动不同预测的原因。
从大型患者数据仓库中获取的更高级别的描述符也可以增强以下内容的共享
医院之间的信息。实际上，深层功能可以将患者数据抽象到更高的水平，而无法完全
重建，这有利于机构之间安全地交换数据，从而根据不同的人口分布（提供相同的基本EHR表示）得出其他表示。如
例如，患者所居住地区的临床状态不常见的患者可以从
使用从其他医院数据仓库中学到的功能来表示，他的情况可能会更多
共同。此外，医院之间为共同进行功能学习而进行的协作将导致甚至
更好的深层表示形式，可能会改善大量产品的设计和性能
医疗保健分析平台。
在这项研究中评估的疾病预测应用程序可以用于许多临床任务
走向个性化医学，例如以数据为依据的个人患者风险评估。实际上，临床医生可以
受益于从历史患者数据中学习最佳护理途径的医疗平台，
深入患者方法的自然延伸。例如，医师可以监视他们的患者，检查是否
根据临床状况，任何疾病都可能在不久的将来发生，并通过数据抢占先机
驱动干预措施的选择。同样，该平台可以自动检测医院的患者
发生某些疾病并提醒适当的护理提供者的可能性很高。
局限性和未来工作。
我们注意到当前研究的一些局限性，突出了未来方法增强的机会。如前所述，某些疾病并未显示出较高的预测能力。
这部分与以下事实有关：我们仅包括实验室测试的频率，而我们依赖测试
并发确定患者模式，但我们未考虑测试结果。然而，实验室测试的结果却不是
易于处理，因为它们可以用作文本标志，具有不同度量单位的值，
范围等。但是，我们发现某些疾病的绩效指标较低（例如，“糖尿病
www.nature.com/scientificreports/
科学报告| 6：26094 | DOI：10.1038 / srep26094 9
无并发症”，“高血压”）通常通过常规检查中收集的实验室检查来筛查
检查，使这些测试的频率成为无效的判别因素。未来的工作将探索如何
包含实验室测试值以改善深层患者表征的性能（即更好的原始表征可能会导致更好的深层模型）。同样，用时间序列描述患者
涵盖预定义连续时间间隔的向量，而不是汇总一个向量中的所有数据
以改善最终结果。添加其他类别的EHR数据，例如保险明细，家庭
历史和社会行为，也可能会导致更好的表示，应该在大量临床领域中获得可靠的预测模型。此外，SDA模型可能会利用其他数据
预处理。一个常见的扩展是使用PCA对数据进行预处理，以在删除之前不相关的因素
深层建模31。这种方法可以提高其他媒体的准确性和效率，并应使
临床领域也是如此。
在未来的工作中，我们计划研究深层表示法在涉及自动预测的其他临床任务中的应用，例如个性化处方，治疗推荐和临床试验募集。我们还计划深入研究深层患者在特定临床领域的应用，
定性评估其结果的任务（例如，算法发现了哪些规则，这些规则可以改善
预测，如何可视化（如果它们是新颖的）。此外，我们旨在评估基于
其他机构的EHR数据仓库，以合并结果并改进所学的功能
估计会有更多的患者受益。
参考文献
- Hersh, W. R. Adding value to the electronic health record through secondary use of data for quality assurance, research, and
surveillance. Am. J. Manag. Care 13, 277–278 (2007). - Tatonetti, N. P., Ye, P. P., Daneshjou, R. & Altman, R. B. Data-driven prediction of drug effects and interactions. Sci. Transl. Med. 4,
125ra131 (2012). - Li, L. et al. Identification of type 2 diabetes subgroups through topological analysis of patient similarity. Sci. Transl. Med. 7, 311ra174
(2015). - Doshi-Velez, F., Ge, Y. & Kohane, I. Comorbidity clusters in autism spectrum disorders: an electronic health record time-series
analysis. Pediatrics 133, e54–63 (2014). - Miotto, R. & Weng, C. Case-based reasoning using electronic health records efficiently identifies eligible patients for clinical trials.
J. Am. Med. Inform. Assoc. 22, E141–E150 (2015). - Bellazzi, R. & Zupan, B. Predictive data mining in clinical medicine: current issues and guidelines. Int. J. Med. Inform. 77, 81–97
(2008). - Jensen, P. B., Jensen, L. J. & Brunak, S. Mining electronic health records: towards better research applications and clinical care. Nat.
Rev. Genet. 13, 395–405 (2012). - Dahlem, D., Maniloff, D. & Ratti, C. Predictability bounds of electronic health records. Sci. Rep. 5, 11865 (2015).
- Wu, J. L., Roy, J. & Stewart, W. F. Prediction modeling using EHR data: challenges, strategies, and a comparison of machine learning
approaches. Med. Care 48, S106–S113 (2010). - Weiskopf, N. G., Hripcsak, G., Swaminathan, S. & Weng, C. Defining and measuring completeness of electronic health records for
secondary use. J. Biomed. Inform. 46, 830–836 (2013). - Weiskopf, N. G. & Weng, C. Methods and dimensions of electronic health record data quality assessment: enabling reuse for clinical
research. J. Am. Med. Inform. Assoc. 20, 144–151 (2013). - Bengio, Y., Courville, A. & Vincent, P. Representation learning: a review and new perspectives. IEEE T. Pattern Anal. Mach. Intell.
35, 1798–1828 (2013). - Jordan, M. I. & Mitchell, T. M. Machine learning: trends, perspectives, and prospects. Science 349, 255–260 (2015).
- Huang, S. H. et al. Toward personalizing treatment for depression: predicting diagnosis and severity. J. Am. Med. Inform. Assoc. 21,
1069–1075 (2014). - Lyalina, S. et al. Identifying phenotypic signatures of neuropsychiatric disorders from electronic medical records. J. Am. Med.
Inform. Assoc. 20, e297–305 (2013). - Wang, X., Sontag, D. & Wang, F. Unsupervised learning of disease progression models. ACM SIGKDD, 85–94 (2014).
- LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015).
- Vincent, P., Larochelle, H., Lajoie, I., Bengio, Y. & Manzagol, P. A. Stacked denoising autoencoders: learning useful representations
in a deep network with a local denoising criterion. J. Mach. Learn. Res. 11, 3371–3408 (2010). - Shah, N. H. et al. Comparison of concept recognizers for building the Open Biomedical Annotator. BMC Bioinformatics 10, S14
(2009). - Musen, M. A. et al. The National Center for Biomedical Ontology. J. Am. Med. Inform. Assoc. 19, 190–195 (2012).
- Jonquet, C., Shah, N. H. & Musen, M. A. The Open Biomedical Annotator. Summit on Translat. Bioinforma. 2009, 56–60 (2009).
- Lependu, P., Iyer, S. V., Fairon, C. & Shah, N. H. Annotation analysis for testing drug safety signals using unstructured clinical notes.
J. Biomed. Semantics 3, S5 (2012). - Chapman, W. W., Bridewell, W., Hanbury, P., Cooper, G. F. & Buchanan, B. G. A simple algorithm for identifying negated findings
and diseases in discharge summaries. J. Biomed. Inform. 34, 301–310 (2001). - Cohen, R., Elhadad, M. & Elhadad, N. Redundancy in electronic health record corpora: analysis, impact on text mining performance
and mitigation strategies. BMC Bioinformatics 14, 10 (2013). - Blei, D. M. Probabilistic topic models. Commun. ACM 55, 77–84 (2012).
- Arnold, C. W., El-Saden, S. M., Bui, A. A. & Taira, R. Clinical case-based retrieval using latent topic analysis. AMIA Annu. Symp.
Proc., 26–30 (2010). - Perotte, A., Bartlett, N., Elhadad, N. & Wood, F. Hierarchically supervised latent dirichlet allocation. NIPS, 2609–2617 (2011).
- Bisgin, H., Liu, Z., Fang, H., Xu, X. & Tong, W. Mining FDA drug labels using an unsupervised learning technique - topic modeling.
BMC Bioinformatics 12, S11 (2011). - Blei, D. M., Ng, A. Y. & Jordan, M. I. Latent Dirichlet allocation. J. Mach. Learn. Res. 3, 993–1022 (2003).
- Cowen, M. E. et al. Casemix adjustment of managed care claims data using the clinical classification for health policy research
method. Med. Care 36, 1108–1113 (1998). - Larochelle, H., Bengio, Y., Louradour, J. & Lamblin, P. Exploring strategies for training deep neural networks. J. Mach. Learn. Res.
10, 1–40 (2009). - Breiman, L. Random forests. Mach. Learn. 45, 5–32 (2001).
- Fernandez-Delgado, M., Cernadas, E., Barro, S. & Amorim, D. Do we need hundreds of classifiers to solve real world classification
problems? J. Mach. Learn. Res. 15, 3133–3181 (2014). - Manning, C. D., Raghavan, P. & Schütze, H. Introduction to Information Retrieval. (Cambridge University Press, 2008).
www.nature.com/scientificreports/
Scientific RepoRts | 6:26094 | DOI: 10.1038/srep26094 1 0 - Helmstaedter, M. et al. Connectomic reconstruction of the inner plexiform layer in the mouse retina. Nature 500, 168–174 (2013).
- Ma, J. S., Sheridan, R. P., Liaw, A., Dahl, G. E. & Svetnik, V. Deep neural nets as a method for quantitative structure-activity
relationships. J. Chem. Inf. Model 55, 263–274 (2015). - Leung, M. K. K., Xiong, H. Y., Lee, L. J. & Frey, B. J. Deep learning of the tissue-regulated splicing code. Bioinformatics 30, 121–129
(2014). - Xiong, H. Y. et al. The human splicing code reveals new insights into the genetic determinants of disease. Science 347, 144–151
(2015). - Alipanahi, B., Delong, A., Weirauch, M. T. & Frey, B. J. Predicting the sequence specificities of DNA- and RNA-binding proteins by
deep learning. Nature Biotech. 33, 831–838 (2015). - Liang, Z., Zhang, G., Huang, J. X. & Hu, Q. V. Deep learning for healthcare decision making with EMRs. IEEE BIBM, 556–559
(2014). - Hinton, G. E. & Salakhutdinov, R. R. Reducing the dimensionality of data with neural networks. Science 313, 504–507 (2006).
- Lasko, T. A., Denny, J. C. & Levy, M. A. Computational phenotype discovery using unsupervised feature learning over noisy, sparse,
and irregular clinical data. PLoS One 8, e66341 (2013). - Kennedy, E. H., Wiitala, W. L., Hayward, R. A. & Sussman, J. B. Improved cardiovascular risk prediction using non-parametric
regression and electronic health record data. Med. Care 51, 251–258 (2013). - Hui, L., Xiaoyi, L., Ramanathan, M. & Aidong, Z. Prediction and informative risk factor selection of bone diseases. IEEE/ACM T.
Comput. Biol. Bioinform. 12, 79–91 (2015). - Perotte, A., Ranganath, R., Hirsch, J. S., Blei, D. & Elhadad, N. Risk prediction for chronic kidney disease progression using
heterogeneous electronic health record data and time series analysis. J. Am. Med. Inform. Assoc. 22, 872–880 (2015). - Perotte, A. et al. Diagnosis code assignment: Models and evaluation metrics. J. Am. Med. Inform. Assoc. 21, 231–237 (2014).
- Gottlieb, A., Stein, G. Y., Ruppin, E., Altman, R. B. & Sharan, R. A method for inferring medical diagnoses from patient similarities.
BMC Med. 11, 194–203 (2013). - Yao, L. X., Zhang, Y. Y., Li, Y., Sanseau, P. & Agarwal, P. Electronic health records: Implications for drug discovery. Drug Discov.
Today 16, 594–599 (2011).
致谢
这项工作得到了美国国立卫生研究院国家转化科学促进中心（NCATS）的资助。
临床和转化科学奖（UL1TR001433），美国国家癌症研究所（NCI）（U54CA189201），
以及J.T.D.的美国糖尿病，消化与肾脏疾病研究所（NIDDK）（R01DK098242）
作者贡献
R M。提出想法，进行研究并撰写文章； L.L.帮助收集数据； B.A.K.
完善文章； J.T.D.监督和支持这项研究。所有作者都编辑并审查了
手稿。
附加信息
有关补充信息，请访问http://www.nature.com/srep。
相互竞争的经济利益：作者声明没有相互竞争的经济利益。
如何引用本文：Miotto，R.等。深度患者：无人监督的代表来预测未来
电子病历中的患者。科学众议员6，26094; doi：10.1038 / srep26094（2016）。
本作品已根据知识共享署名4.0国际许可协议获得许可。图片
或本文中的其他第三方材料包含在该文章的知识共享许可中，
除非信用额度另有说明；如果该材料未包含在知识共享许可下，
用户将需要获得许可证持有人的许可才能复制该材料。查看此副本
许可，请访问http://creativecommons.org/licenses/by/4.0/