市场研究机构IDC的调研结果显示,到2020年,全球数据容量将达到35 ZB(即35万亿TB),比2009年增加44倍,且数据的类型和种类将更加复杂化。多数分析师认为,其中有高达85%的新数据都是非结构化的数据,例如文本、网络日志、视频、照片、地理信息等。数据的世界正在不断变化,企业面临的挑战是不断增加的数据容量、种类和速度,我们究竟该如何面对这个数据新世界呢?
数据新世界
随着数据的爆炸式增长,存储和处理数据在软件和硬件两方面的成本显著降低。计算机的计算与存储能力呈指数增长,现在只要500元就能买到1TB的存储容量,硬件成本只相当于十年前的1/100,几乎已经可以忽略不计。在软件方面,如Hadoop和MapReduce等新兴的技术,可以帮助客户在基于行业标准的硬件环境当中建立大型分布式存储和计算机群,显著改变数据处理和分析的经济效益。这些改进让计算机历史上首次出现了存储和处理数据的成本低于从这些数据当中获得的预期价值的情况。现在企业可以选择存储数年的网络日志数据,即使并不知道将来这些数据可以被用于何种用途,而在过去,企业不会将这些数据保存一个月以上。
数据量的激增让企业客户开始关注更多与业务相关的问题,例如如何通过分析社交网络决定企业的品牌和产品定位?如何让企业的线上竞争策略更加高效?如何才能更准确地吸引目标用户?这些新的需求对传统的数据管理技术提出了挑战,今天的企业需要一个新的解决方案来帮助自身更有效地管理、优化各类数据,并从中获得有价值的业务洞察。
微软大数据解决方案概览
微软大数据解决方案可以无缝地从任意地点(包括本地服务器或云端)管理任意大小(GB、TB、PB)所有类型(结构化、非结构化以及实时数据)的数据,通过将全世界的数据连接到一起,丰富现有的数据集合,再帮助用户通过熟悉、易于使用的工具,获得数据洞察力。
具体地说,客户可以通过采用SQL Server 2012、SQL Server Parallel Data Warehouse应用系统、Azure Marketplace数据集市等方案来管理数据及用户。同时,还可以使用熟悉的商业智能工具,如PowerPivot for Excel和Power View for SharePoint等来管理它们。此外,如通过SQL Server StreamInsight提供的流数据支持的新功能,微软将包含基于Hadoop分布式平台的全新Windows Azure HDInsight服务和Windows Server来处理PB级的非结构化数据,帮助企业实现基于SQL Server的数据库管理以及在Hadoop当中的非结构化的数据的快速移动。
从任意地方管理任意大小的任意数据
数据管理的需求已经从传统的结构化数据存储,演变成为结构化、非结构化数据存储并存的时代,现代信息管理平台必须支持所有类型的数据。SQL Server支持非传统和非结构数据类型已经有很长的历史,现在SQL Server也提供了在企业内部服务器和云上的企业级Hadoop支持。
微软新近推出的HDInsight是一种适合企业使用的、基于HDP的Hadoop服务,可用于Windows Server和Windows Azure平台,Windows的可靠性、可管理性、和易用性已经融入到Hadoop环境当中。通过减少打包和软件分发时间,简化运营管理并大大减少安装和配置部署时间。这些功能改进将使得IT部门能够在整个Hadoop集群中采用一致的安全策略,并通过System Center简便的管理它们。此外,对于基于云环境的Windows Azure HDInsight服务,微软将继续降低服务部署的门槛,为客户提供以服务的方式使用大数据的功能,通过基于Web的门户来简化Hadoop集群的设置和配置。对于企业用户来说,微软所提供在企业内部服务器上和云端部署可扩展大数据的解决方案,可将所有的产品均部署在一个通用的平台上,并使用自身熟悉的、功能强大的商业智能工具。
在开源的角度上,微软承诺对Apache Hadoop API提供100%的兼容性,所有基于Apache Hadoop编写的应用程序将能够在Windows平台上运行。通过与Hortonworks密切协作,微软已经正式提交了在Windows Azure和Windows Server上提供基于Hadoop的软件方案的实现方案,并将其作为Apache基础代码变更的一部分。
通过与全世界数据连接在一起提供增强的功能
今天数据的价值信息已经涵盖了包括个人数据、企业数据、社区数据乃至世界数据等不同的应用领域。为了让企业更好的发现内部和外部数据,微软建立了代号为“Data Explorer”的Azure实验室,旨在帮助客户通过自动提议,来发现相关数据集。另一个代号为“Data Hub”的实验室,旨在帮助企业或组织创建一个私有的专属数据市场,提升组织内部的数据发现、共享和分析的模式。
通过使用Windows Azure Marketplace中的应用程序和智能挖掘算法,用户还能发现更多的数据挖掘模式。例如Windows Azure Marketplace的DataMarket可以实现防火墙外部和第三方数据源的发现与共享。Windows Azure Marketplace提供第一和第三方应用程序和挖掘模式,客户可以从他们的数据集当中获得新的业务洞察。
在优化外部数据方面,大数据解决方案可以通过SQL Server Integration Services(IS)、SQL Server Data Quality Services(DQS)数据清洗和SQL Server Master Data Services(MDS)数据管理等功能组件将原始数据转换为可靠一致的数据,再通过通过SQL Server Analysis Services(SSAS)的高级分析来实现数据的精炼。微软大数据解决方案支持Mahout等常用的第三方工具和框架,通过Hadoop的数据流,还可支持以C++, C#, Python, Ruby和Pearl来编写定制的挖掘算法。
大数据培训进修班第二期来临,更强的师资阵容,全新的课程安排,多面的大数据讲解与现场实训,还在等什么,马上报名吧。
参加相关培训并通过考试的学员,可以获得: 1.由人力资源和社会保障部中国高级公务员培训中心、全国信息化计算机应用技术水平教育培训管理中心颁发《大数据技术工程师技术水平教育培训》证书。该证书可在人社部中国国家人事人才培训网查询(http://www.chinanet.gov.cn),可作为能力评价、考核和任职的重要依据。 2.中国科学院计算技术研究所教育中心颁发的《大数据技术工程师》培训证书。
大数据技术已经成为互联网后的又一个里程碑意义的科技革命与生产力革命,也是产业结构战略调整的战略机遇。如何管理自身的业务大数据,从中获取智慧,对传统业务再造并实巨大价值的产品和服务?如何将大数据困境转换为大数据宝藏?如何从大数据概念炒作到实践落地?
由北京理工大学大数据搜索挖掘实验室、中国科学院计算技术研究所教育中心联合主办,大数据论坛联合承办,开设大数据技术进修班。聘请北京理工大学赵燕平教授、张华平博士、北京市外办信息中心姜伟主任、英特尔中国研究院首席工程师吴甘沙、清华大学马宝君博士等知名专家全面讲授大数据架构、大数据搜索、大数据挖掘以及大数据应用四大板块,分享亲身经历的大数据应用,并为学员提供大数据搜索挖掘工具的实训。
本次培训讲师:
张华平:北京理工大学大数据搜索挖掘实验室主任,博士,副教授
李德伟:国家工商总局行政学院副院长
赵燕平:北京理工大学教授,教育部电子商务专家
姜伟:北京市外事办信息中心主任
吴甘沙:英特尔中国研究院首席工程师
马宝君:清华大学搜索评价与推荐系统专家
杨泽明:中科院高能物理研究所副研究员
价格:4980元 (包含发票,讲义,教材,工作餐,与讲师互动自助晚餐会); 老学员或同单位三人以上报名九折优惠;全日制学生凭学生证优惠价格2980元,不含发票。差旅及食宿费用自理。
地址:北京理工大学理工国际交流中心
课程介绍:
13日
张华平 《科学的大数据观》
李德伟 《大数据的哲学思考》
吴甘沙 《大数据架构、计算范式与应用实践》
杨泽明 《云计算关键技术与应用实训》
14日
张华平 《大数据精准搜索关键技术》
李望 《实训演练》(JZSearch大数据精准搜索引擎实训演练)
张华平 《大数据挖掘关键技术》
学员互动 《NLPIR大数据挖掘平台学员实训》
15日
姜伟 《大数据背景下的电子政务实践》
马宝君 《大数据背景下的电子商务实践》
张华平 《大数据答疑解惑》(针对每个学员事先准备的问题,每个人3分钟机会;然后根据投票结果选取3个经典问题进行综述。)
【报名通道】: http://www.lingjoin.com/bigdatatrain/
报名电话:13681251543 010-62648067