东南大学 崇志宏：信息融合和安全综述

东南大学智慧城市研究院信息融合与安全研究中心  崇志宏                            东南大学  崇志宏

智慧城市的信息融合与安全是互联网、区块链、大数据、人工智能和深度学习等技术和现代城市快速发展需求驱动的学科交叉应用领域。它通过信息融合和安全融合技术以安全、可信的方式对来自城市传感器、交通、地理、医疗、媒体等结构化或非结构化的多模态信息进行语义和关系的自动提取，支持信息检索、挖掘分析以及预测，为公众、政府、企业组织提供服务。

智慧城市的信息融合区别于数据库的数据集成、人工智能领域的语义对齐以及异构信息网络，解决多视图、多模态异构信息的不同语义依赖、相似、联结的语义关系。它包括结构化与非结构化信息的结构融合和多模态的语义融合。其基本框架抽象为：信息的表示和解释、语义关系构建以及融合信息的应用。各种技术方法差别体现在采用不同模型和算法实现信息融合框架的环节。

信息表示和解释的基本形式包括模型友好的知识图谱和语义特征向量。如从非结构化文档中抽取实体与关系，生成图结构的知识图谱，可以实现互联网中非结构化的文档和数据库中的结构化数据的信息融合；从城市监控图片、视频中抽取的语义特征向量可以用于增强目标识别的准确性。通过统计或深度学习的方式对两种语义表示方式进行相互转化，如将城市地理知识图谱进行语义向量化，用向量距离、相似或向量线性关系表达城市区域的相似性、区域间交通模式的相似关系。

通过语义关系模型构建多数据源的语义融合，综合多模态信息，可以从一个模态信息推测或检索另外一个模态的信息，也可以提高挖掘、预测模型的性能。如通过相貌描述从公安人口档案库中检索相关的档案或身份证照；购买行为、评论、博客和市场调研信息的融合能为企业新产品开发、潜在市场洞察、营销决策提供大数据驱动的决策和管理模式。

智慧城市和信息融合属于年轻的前沿交叉领域，其理论研究分布于数据库、系统与体系结构、人工智能、深度学习、数据挖掘等研究领域。互联网和信息技术领先企业在信息融合方面投入大量研发资源，如微软在城市计算和信息融合方面成立专门的研究团队，发表一系列有影响的学术论文。信息融合技术和人工智能以及深度学习技术相融合的趋势明显：一方面，通过融合提高人工智能技术和深度学习的质量；另一方面，通过人工智能和深度学习技术解决数据的语义和语义融合，实现基于语义信息融合的模型和技术。二者呈现相互依赖和相互增强的趋势。

信息融合的安全区别于数据库领域的什么人可以用什么方式访问什么信息的封闭环境下的集中式安全模型，解决跨边界的身份认证、信息访问控制与协作，依靠去中心化的协议或体系结构保证信息安全、协作共识和数据一致性。如医疗体检信息在不同层级、不同医疗部门间的共享可以避免重复检查，节约医疗成本。医疗信息共享需要在多个部门和患者之间建立安全、共识、可审计、隐私保护协议和机制，需要证明检查报告出自何处、是否是授权访问、报告是否被篡改等等证明和验证机制。又如人口档案信息、银行信息和交通旅行信息以及商务网站交易数据的信息融合需要安全、可信和隐私保护的去中心化、可编程协议和机制，实现跨边界的、复杂协作模式的信息融合。又如，在身份认证上需要融合公安、银行、电信等部门的现有身份认证机制和电子证书数据，实现市民、法人的跨组织边界的身份认证，是构建身份可识别主体跨组织边界信息访问的基础。以此为基础，可以在城市规模范围内构建身份可识别的去中心化共识系统，维持可信的信息发布、数据的共识性、一致性。

目前，去中心化的安全、可信、可编程的协议和机制主要是依赖区块链体系结构构建去中心化的交易系统、跨广阔领域和组织边界的物流系统、银行间的实时清算系统。根据控制的去中心化程度分为公开链（如以太坊）、联盟链（如R3 Corda、IBM的超级账本）和私有链。依赖身份识别的共识算法具有较高的共识达成效率。区块链中包含的去中心化、密码安全、可信、不可篡改、可编程智能合约等核心技术概念被应用到非交易领域的可编程的自动化组织、信誉系统、电子版权、信息发布、敏感信息访问审计等应用中。区块链是去中心化体系结构的一个实例，是互联网体系结构本质的延伸，去中心化有多种理解，如去中心化是一种计算体系结构、一种互联网协议、一种组织结构等。区块链技术发展迅速，吸引大量的投资，对传统金融造成颠覆性影响。同时，在金融和交易领域外的应用也得到迅猛发展，如区块链技术领先的R3 Corda通过区块链的技术思想开发多主体共享医疗信息的跟踪和审计系统。

总之，信息融合和安全融合是相互依赖的应用技术，是智慧城市的信息基础设施，是智能交通、大数据处理、能源控制、医疗、商业、政府管理的信息基础。以基于身份认证融合的去中心化的可编程安全与可信协议构建智慧城市的信息、计算和安全的体系结构；智能信息处理和信息融合相互集成、相互增强。安全融合从跨组织边界身份认证的电子证书的融合到信息证明、共识达成以及认证机制的融合。通过深度学习技术的信息语义融合技术成为发展的趋势，包括通过对抗网络模型的特征提取、带记忆可微神经网络的知识与数据的融合和基于转移学习的多模态语义融合成为主流技术趋势。

城市化的快速发展需要高水平的城市管理技术，特别是信息技术、可信技术、协作技术的支撑，解决城市问题、效率问题，是解决城市发展问题的技术途径，在国家城市化战略中具有城市基础设施的战略地位。信息以及信息融合是信息技术的基础。实现全城市从传感器、地理信息系统、百科知识到政府、组织的事务数据、市民的行为数据的多模态融合，解决城市规划、资源调度、恐怖事件预测、协作等人类的基本生活活动。信息融合与安全是国家城市化战略、大数据发展规划、互联网+的基础性技术环节。