四. 大数据时代
1.数据概念
字=2Byte(字节) 1KB=1024B(500个汉字) 1MB=1024K(50万个汉字)
1GB=1024M(一部广播级电影) 1TB=1024G(一家大型医院的X光图片)
1PB=1024T(一年国产电视剧,约1.7万部容量)
2.大数据来源
云计算,移动互联网,物联网,社交网络,电子商务,即时通信等技术形式的
涌现,推动人类从现实社会快速切换到网络社会形态,形成了人类虚拟生活方式。
人类的网络社会行为,包括聊天,购物,搜索,点赞等,产生了诸如日志,图片,
音频,视频等规模巨大,类型多样的数据。
人类由此进入大数据时代!!!
大数据技术:在海量,无序的数据中洞察规律,发现价值。(全民记录,记录全民)
1980年,著名未来学家阿尔文.托夫勒在《第三次浪潮》一书中做出预言:大数据是
第三次浪潮的华彩乐章。
3. 大数据的价值
数据的价值不在于数据本身,在于数据之间的关联关系。(王柏华先生观点,我却表示疑问,
经过探索求证,我认为数据本身就是一种巨大的价值)
***谷歌无人驾驶汽车
我们没有更好的算法,我们有的,只是更多的数据。
————Peter Norvig(谷歌首席科学家)
***智慧的起源
(婴儿)感知环境 "采集数据" 简单关联
感想:现在的人工智能,物联网智慧家居,完全不用研究很复杂的算法,只是采集相关人的
数据即可,用大数据思维进行产品创新。
4.大数据技术
eg:知道孪生兄弟一人,在100w中寻找另一个(有明确线索)最大寻找次数:1*100w=100w次
5.大数据经典案例
***沃尔玛停车场预测股市(根据沃尔玛的停车数量和规律预测股市)
***群体性事件预防
eg:事件本质:某小区业主与开发商纠纷,个别过激业主煽动组织到省政府静坐
信息表象:小区业主频繁联系,QQ,微信,微博,短信,电话等出现“静坐”,”上访“等热词
预警情报:参与人:某小区居民 时间:**年**月**日 地点:省政府门前 事件:静坐
***及时挫败恐怖案件
1.美国国防部资助美国“记录未来”公司,专门研究如何通过分析互联网信息,特别是“脸谱”,“推特”
等社交网站,预先察知恐怖袭击,突发疾病等重大事件。
2.美国国安局局长兼赛博司令部司令亚历山大证实“棱镜“至少挫败了50起恐怖袭击。
3.新一代棱镜迁入NSA耗资20亿$在犹他州建的10W平米T--3级云数据中心,该中心可同日处理
接近目前全球一年产生的数据。处理几乎全部个人行为数据(通信,网络,餐饮,消费,出行等)
***云与端的结合 云平台
五. 大数据与社会治理
1.整合组织大数据,提升治理水平
整合组织数据,还原事物全貌 eg:通过三视图还原事物全貌
业务上云====》数据整合=====》应用创新
基础设施+云海平台+云应用
eg:2012年浪潮与山东省公安厅签合作协议
2013年省公安厅把”警务云“建设作为”1号工程“
山东”警务云“——警务千度
整合公安内部及其他组织数据资源232类 云搜索
150多亿条,互联网数据3000多亿条,存储=====》云数据=====》大数据深度挖掘和统计分析工具
超6PB 云平台
****”警务千度“作为公安内部新一代智能搜索引擎,打破了部门警种界限,内置大数据挖掘与分析功能,
可以深度挖掘,无缝关联每个人及相关人多维度,多时空的信息并进行全景立体展现。
2.政府开放数据,提升服务水平
***美国航班延误与大数据分析
美国交通部开放全美航班起飞,到达,延误的数据,有人利用这些数据开发了一个延误时间的分析系统,
并向全社会免费开放。
任何人可看:晚点最少的是哪个航空公司,一般晚点时间......
结果是美国民航的误点率逐步减少,满意率不断提高===》开放数据,倒逼服务水平提高
***实时预报公交到站
eg:有一个APP是预报公交到站时间的,有一个找公厕的APP
**政府开放数据
**第三方开发应用
**找商业模式,发展服务产业
**推动社会进步
==========》开放数据,引导服务创新
***开放什么数据? 科学界的数据和政府相关的数据
交通数据,环境类数据,气象数据,统计类数据,经济类数据,自然科学数据,人文科学数据,
地理位置数据,食品检测数据
中国各级政府掌握着全社会信息资源的80%,其中包括3000个数据库。西方主要发达国家都将其
政府数据开放作为国家战略推动。借助政府数据开放,美国的医疗服务业节省了3000亿$,制造业在
产品开发,组装等环节节省50%成本。
3.互联网数据,开启新的篇章
大数据服务产业生态环境 产品
社会治理 公共安全 企业决策 | 冶炼 搭建平台
第三方数据应用提供商(企业,大学,科研机构等) |
炼厂 聚合数据
大数据平台 数据可视化与信息洞察 | 采矿
大数据分析和处理 | 创新应用
云海IPO 数据采集和数据治理 矿石
| | |
| | |
数据资源 组织数据 互联网数据
大数据将成为国家竞争力的重要标志,与矿产,土地,石油一样成为国家的基础性战略资产。
提高国家治理体系和治理能力现代化(第五个现代化)要靠大数据。
补充:(信息安全)
1.定制入口组织(TAO)
美国安局(NSA):内部有黑客组织,窃取情报,主要针对中国。
美大型IT公司均设有CSO,隶属于NSA双重领导,后门漏洞需向NSA备案
2.巧言计划(Blarney)
NSA通过收集各国计算机名称,品牌,型号,IP和MAC地址,软件及漏洞等数据,
测绘出全球计算机“信息疆域”地图。
利用这些数据,美国可以快速锁定世界上任何地点,计算机进行精确攻击。
3.巨大的信息安全威胁
(1).2012年金融,交通,能源等多个关键部门,中国被境外控制的计算机达1420余万台。
(2).信息安全已成为国家安全的重要组成部分,信息主权已经成为国家主权的一个重要维度。
(3).在信息领域,美国已经通过其技术和产业优势,确立了其信息领域霸权地位。
| |
| |
基础设施自主可控是解决中国信息安全威胁的核心所在。
***************鸣谢浪潮集团CTO兼执行总裁 王柏华 先生提供部分数据和观点****************