工业安全大数据汇聚与治理、2、多模态数据挖掘与知识图谱构建、3、超融合软件平台构建与工程应用概念

1、工业安全大数据汇聚与治理

大数据汇聚，即将多元化数据整合，由于时空大数据来源广泛、渠道繁杂、形式各异，汇聚时要采用一定方法如：多源异构数据自适应汇聚。数据汇聚系统是多源异构生态系统科学数据的汇聚平台，通过科学数据、知识资源的汇聚汇交，构建生态系统领域统一的科学数据存储库，支撑数据产品加工挖掘分析，支撑资源共享服务。
大数据治理：对数据本身质量的管理，对数据的全生命周期进行管理，包含传统数据处理（聚类分析、因子分析、相关分析、对应分析、回归分析）、数据质量提升等展现数据价值的工作。数据质量提升：事前预防（制定质量检测模型）、事中监控（监控原始数据和数据中心质量）、事后改善（建立相关流程工具修复数据质量）。目的：实现数据价值最大化和生产风险最低化。核心：规划监控和执行。

2、多模态数据挖掘与知识图谱构建

多模态：不单单是文字数据还有图像等数据，如图像中含有一些单单用文字难以识别的属性或关系（键盘、屏幕、笔记本之间的关系；香蕉的黄色或或黄绿色而非蓝色）。
多模态数据挖掘：研究怎么将图片和文字对应起来的问题，不能简单的拼接，对于需要识别出多个实体的情况不合适。
多模态知识图谱的构建通常有两种方法：①用文本知识图谱中的文字标记图像；②将图像定位到文本知识图谱中的实体。

3、超融合软件平台构建与工程应用

超融合架构:指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。超融合架构是实现“软件定义数据中心”的终极技术途径。HCI类似Google、

多模态知识图谱构建和数据挖掘方向，多模态关系抽取，思考视频和语音融合，（动作序列分类网络）搜资料当下研究方向进展遇到的困难，人工客服只有语音能否是开视频的形式进行指导，视频直接上传至服务器处理？

场景：在家咖啡从桌子上掉落在地上，主人说：“我靠”，机器人根据这两个字无法判断接下来的行为，显然是不智能的。如果加上图像，机器人能识别到咖啡掉在地上这个“动作”，根据主人“我靠”惊讶的文字，就可以执行让扫地机器人去清理咖啡污渍，甚至能接一杯新的咖啡。如果咖啡倒落在地上而主人翁没有说：“我靠”，那机器人只去打扫也不失“聪慧”。

VQA:Visual Question Answering
Image caption：根据一张图像生成一句话
数据集：可以从社交平台爬取，一般社交平台会有图片对应的文字信息，使用视觉对象的标签和视觉特征与文本表示进行拼接。直接将图像和文本进行拼接没有进行细粒度的挖掘，因为单模态中文本存在结构信息而图像也存在视觉结构信息，所以利用每个模态的结构信息辅助完成多模态关系抽取。（图片和文本都存在实体和关系）如下图