物联网-物联网智能数据处理技术

物联网数据处理技术的基本概念

物联网数据的特点

• 海量
• 动态
• 多态
• 关联

从无线传感器网络TinyDB数据库结构中可以清晰地看到物联网数据“海量、动态、多态、关联”的特点

物联网中的数据、信息与知识

物联网数据处理关键技术

• 数据存储
• 数据融合
• 数据挖掘
• 智能决策

物联网与云计算

云计算产生的背景

云计算的分类

• IaaS—基础设施即服务，只涉及到租用硬件，是一种最基础的服务
• PaaS—平台即服务，已经从硬件的基础上，租用一个特定的操作系统与应用程序，来自己进行应用软件的开发
• SaaS—软件即服务，在云平台提供的定制软件上，直接部署自己的应用系统

云计算的主要技术特征

• 按需服务—根据用户是实际计算量与数据存储量，自动分配CPU的数量与存储空间的大小，避免服务质量下降与资源浪费
• 资源池化—利用虚拟化技术，根据需求定制用户使用的计算与存储资源，计算与存储资源管理对用户是透明的
• 服务可计费—“云”可以监控用户的计算、存储资源的使用量，并根据资源的使用“量”进行计费
• 泛在接入—用户的各种终端设备，如PC机、笔记本计算机、智能手机和移动终端设备，都可以作为云终端，随时随地访问“云”
• 高可靠性—“云”采用数据多副本备份冗余，计算节点可替换等方法，提高云计算系统的可靠性
• 快速部署—云计算不针对某一些特定的应用，用户可以方便地开发各种应用软件，组建自己的应用系统，快速部署业务

云计算模式

• 云计算是一种计算模式，它是将计算与存储资源、软件与应用作为服务，通过网络提供给用户

物联网与大数据

数据挖掘的基本概念

透过数据，应用一定的分析方法，从大量数据中提取出一些有价值的信息和知识，这个过程就是“数据挖掘（Data Mining）”

数据量单位与换算关系

大数据的特征 

           大数据的“5V”特征

• 大体量（Volume）：数据量达到数百TB到数百PB，甚至是EB的规模
• 多样性（Variety）：数据为各种格式与各种类型
• 时效性（Velocity）：数据需要在一定的时间限度下得到及时处理
• 准确性（Veracity）：处理结果要保证一定的准确性
• 大价值（Value）：分析挖掘的结果可以带来重大的经济效益与社会效益

大数据研究的价值

• 2007年图灵奖获得者吉姆·格雷指出：科学研究将从实验科学、理论科学、计算科学，发展到数据科学；“数据密集型科学发现”将成为科学研究的第四范式；科学研究将从实验科学、理论科学、计算科学发展到目前兴起的数据科学
• 大数据对世界经济、自然科学、社会科学的发展将会产生重大和深远的影响；物联网的大数据应用是国家大数据战略的重要组成部分，结合物联网应用的大数据研究必将成为物联网研究的重要内容

 物联网大数据研究的特殊性

1. 物联网大数据与一般大数据研究共性的一面

• 可视化分析—物联网大数据分析的可视化能够以非常直观的形式呈现给物联网用户，更容易帮助不同行业的物联网用户从中提取有价值的知识，帮助科学决策
• 数据挖掘算法—物联网行业应用关系国计民生与生命安全，对数据挖掘结果的时效性、可靠性与可信性要求很高，必须由大数据专家与行业专家合作研究数据挖掘算法
• 预测性分析能力—对于物联网应用预测性分析十分重要，需要组织行业专家、物联网专家与大数据专家相结合的研究队伍，研究适应不同行业物联网大数据的预测模型与算法
• 语义引擎—物联网需要一套新的理论与方法来实现对地理位置分布的各种数据资源进行规范和灵活地组织，方便用户通过关键词、标签关键词或其他输入语义的搜索，提高主动获取知识的能力
• 数据质量与数据管理—不同传感器感知的原始数据的汇聚，多维数据融合、多用户协同感知与数据质量管理，使得处理之后的结果更能够高精度地反映真实面貌，是物联网大数据研究的重点

2. 物联网大数据研究个性的一面

• 异构性与多样性—物联网的数据来自不同的行业、不同的应用、不同的感知手段，有人与人、人与物、物与物、机器与人、机器与物、机器与机器等各种数据，这些数据可以进一步分为：状态数据、位置数据、个性化数据、行为数据与反馈数据，数据具有明显的异构性与多样性
• 实时性、突发性与颗粒性—物联网感知数据是系统控制命令与策略制定的基础，对物联网数据处理时间要求很高；同时，事件发生往往很突然和超出预判，事先无法考虑周全，物联网感知设备获得的数据很容易出现不全面和噪声干扰，物联网大数据的研究需要注意到数据实时性、突发性与颗粒性的特点
• 非结构化与隐私性—物联网应用系统中存在着大量图像、视频、语音、超媒体等非结构化数据，增加了数据处理的难度。物联网应用系统的数据中隐含有大量企业重要的商业秘密与个人隐私信息，数据处理中的信息安全与隐私保护难度大

未来展望

• 未来的各种物联网应用，以及从个人计算机、笔记本计算机、平板电脑、智能手机、GPS、RFID读写器、智能机器人、可穿戴计算等数字终端设备装置，都可以作为云终端在云计算环境中使用，云计算将成为物联网重要的信息基础设施之一
• 物联网中智能交通、智能环保、智能医疗中的大量传感器、RFID芯片、视频监控探头、工业控制系统是造成数据“爆炸”的重要原因之一，物联网为大数据技术的发展提出了重大的应用需求，成为大数据技术发展的重要推动力之一
• 大数据对世界经济、自然科学、社会科学的发展将会产生重大和深远的影响，物联网的大数据应用是国家大数据战略的重要组成部分，结合物联网应用的大数据研究必将成为物联网研究的重要内容
• 大数据应用水平直接影响着物联网应用系统存在的价值与重要性，大数据应用的效果是评价物联网应用系统技术水平的关键指标之一