大数据平台搭建技术底座 四行业迎来新机遇



大数据平台是从各种类型的、漫无边际的数据中,快速获得有价值信息的处理方法或框架。大数据中的“大”不是大数据的唯一指标,而是更强调数据的类型多样、处理的速度和获取价值的能力。分析人士表示,大数据对传统行业的重构有望成为中国经济新一轮快速发展的关键推动力,对于A股上市公司而言,IT业、移动互联网、交运和电力安全设备生产商等四类板块受益明显。



网络是大数据重要信源



数据是平台运营商的重要资产,可能提供API接口允许第三方有限度地使用,但是显然是为了增强自身的业务,与此目的抵触的行为都会受到约束,同时,也是大数据应用的基础和前提。



收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集,比如浏览器里的搜索、点击、网上购物、其他数据(比如气温、海水盐度、地震波)可以通过传感器转化成数字信号输入计算机。



收集到的数据一般要先经过整理,常用的软件如Tableau和Impure是功能比较全面的,Refine和Wrangler是比较纯粹的数据整理工具,Weka用于数据挖掘。Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R+Hadoop,可以在Hadoop集群上运行R代码。还有很多可以用来在网页上实现可视化输出的框架或者控件。大致基于四种技术:Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)。



大数据带给四行业新机遇



进入大数据时代,都有哪些A股公司存在投资新机遇呢?分析人士认为,大数据时代主要有四类行业明显受益。首先,受益最明显的当属IT业。数据显示,2012年大数据对全球IT开支的直接或间接推动达960亿美元,而到2016年,这一数字预计将达到2320亿美元。据国内有关机构初步预算,未来中国大数据潜在市场规模有望近2万亿元,将给IT行业开拓了一个新的黄金时代。



其次,移动互联网行业。以腾讯、阿里巴巴、百度、奇虎360等为代表的互联网公司目前已经形成了与传统电信运营商价值链重新划分的格局,使得运营商的角色正在不知不觉中发生着变化。



第三,交通运输业。随着城市的迅速发展,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。智能交通成为改善城市交通的关键所在。为此,及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。无论是交通基础设施、交通运行状态还是交通服务对象和交通运载工具,每时每刻都在产生着大量的数据,以大数据的思路和角度来看,这些都是正待挖掘的宝藏,能为交通决策和服务带来新的解题思路。



第四、电力信息安全设备生产商。近日,电力行业信息安全类“招标竞赛”正在火热上演,全国多家电网公司相继在信息安全设备采购招标项目上亮出大手笔投资,采购内容涉及数据丢失防护、数据恢复、数据清除等众多软硬件产品,部分采购项目甚至达到上亿元的规模,新一轮大规模电力系统信息安全建设浪潮扑面而来。



风投青睐大数据创业公司



新兴市场蓝海正待发掘



“世界的本质是数据“,大数据时代的预言家维克托·迈尔-舍恩伯格此话掷地有声。然而置身于在大数据的浩瀚海洋中,我们不得不承认这样一个事实,人类的技术水平目前还没有达到随心所欲地处理一切数据的地步。



清华大学苏州研究院大数据处理中心技术总监赵勇,同时也是聚云浩海(苏州)信息科技有限公司的技术总监则直言,在信息处理技术的步伐没有跟上之前,每日都在激增的大数据带来的是问题,而不是能够产生价值的资源。赵勇在他即将出版的新书《架构大数据-大数据技术解析 》中写道:“传统的信息技术架构,已无法处理大数据问题,需要以现代云计算的手段和技术来解决大数据问题。”无可辩驳,大数据要为我所用,处理分析数据的需求也催生了一批创业公司,风投资本的青睐助推了其雨后春笋般的成长速度。



《证券日报》:为什么说大数据的爆发是信息发展过程中遇到的棘手问题?大数据平台的搭建又有什么意义?



赵勇:信息技术为人类步入智能社会开启了大门,带动了互联网、物联网、电子商务、现代物流、网络金融等现代服务业发展,催生了车联网、智能电网、新能源、智能交通、智能城市、高端装备制造等新兴产业发展。现代信息技术正成为各行各业运营和发展的引擎。但这个引擎正面临着大数据这个巨大的考验。各种业务数据正以几何级数的形式爆发,其格式、收集、储存、检索、分析、应用等诸多问题,不再能以传统的信息处理技术加以解决,对人类实现数字社会、网络社会和智能社会带来了极大的障碍。在实践中,一些地方政府和企事业单位一般会将采集到的数据选取一段时间内的或者异常的数据进行部分存储,或者干脆不存储。



大数据爆发带来的瓶颈需要以现代云计算的手段和技术来解决。云计算与大数据是相辅相成、辨证统一的关系,云计算、物联网技术的广泛应用是我们的愿景,而大数据的爆发则是发展中遇到的棘手问题。大数据技术的突破不仅能解决现实困难,同时也会促使云计算、物联网技术真正落地并深入推广和应用。



由于云计算并没有真正落地,现在在各个行业、各个机构之间形成了很多信息孤岛。国内有不少侧重于大数据应用的公司,但是从事基础层面的数据采集、存储、计算、分析和展示业务的公司较少,如果仅仅从应用层面来做的话,基础数据很难实现互通互联,这就需要一些平台型的架构将数据关联起来。比如要建设智慧城市,就必须跨部门、跨行业进行数据共享交互,这就需要从大数据平台和接口入手。 平台搭建好之后,再选择性地做应用。



《证券日报》:大数据时代数据的多维价值正在被逐步发现,整个市场的规模将会无法想象。



赵勇:是的,2012年被称为大数据元年,今年大数据市场正处在井喷式发展阶段,未来五年全球大数据市场价值将高达几百亿美元。2012年初,大数据相关软件、硬件和服务的收入总和只有约50亿美元。但随着企业对大数据价值的认识和相关产品技术及应用模式的不断成熟,大数据相关产业和服务将获得长足发展,大数据将逐渐落地,并在未来几年保持惊人的增长速度。国内因为传统的信息手段和技术都迫切需要转型升级,大数据市场实际上就是云计算在各个领域和行业的应用市场,所以综合市场规模在最近几年将达千亿元量级。



《证券日报》:国内外通过搭建数据平台来发掘经济价值的公司是怎样的情况?



赵勇:国内此类的创业公司还正在起步,国外已经有一些运行良好的做数据服务业务的公司了。比如位于西雅图的BlueKai,它建立了一个数据管理平台(DMP),用来帮助用户组织并分析数据,同时也建立了数据交换中心,连通数据需求的两端。



《证券日报》:资本的嗅觉总是十分灵敏,一切能产生价值的地方总能看到资本的身影。请简要介绍一下国内外大数据领域的创业型公司及风险投资的动向?



赵勇:大数据概念的普及,也带动了资本市场对大数据技术创业公司的高度关注,国外多家顶级风投和早期投资机构都对大数据行业青睐有加。



另一方面,大数据问题出来之后,国际互联网行业巨头得益于人财物的优势,可以快速提供解决方案,但由于他们所运用的还是传统产品,目前还没有杀手锏级别的新产品出来,也也给大数据创业公司提供了机会。可以说从数据的采集、存储、分析,直到最上层的数据展示,每一个层面都有可供大数据创业公司发掘的机会,也为资本提供了很好的投资标的。



例如,风投机构Accel artners针对这一行业设立了一支总额高达1亿美元的基金;大数据分析公司Splunk,在Nasdaq首日IPO即上涨109%;其他大数据软件服务商如MapR、10Gen、DataStax等近期都完成了千万美元级的融资。



在国内,互联网行业“去IOE”的呼声渐高(IOE分别是IBM、Oracle、EMC,更确切地说是IBM小型机、Oracle数据库与EMC存储设备的组合,这三驾马车构成了一个从软件到硬件的完整商用数据库系统),很多大数据创业公司跃跃欲试,涌现了一批大数据分析、挖掘、展示、广告方面的创业公司。我们清华大数据处理中心在成立前期就是在四家感兴趣的风投公司中选择的一家,近期我们又在智慧教育、智慧旅游、车联网等方面发力,正在吸引新一轮融资。以云计算和大数据为引领的新一代信息技术在各个领域都能带来模式、内容、路径方面的创新,会形成诸多新兴市场的蓝海。



百度腾讯等中概股



凸显大数据平台价值



大数据的快速发展与物联网、传统互联网及移动互联网三大平台与日俱增的海量数据密不可分。新一波大数据革命浪潮已经来临,然而能分享“智慧盛宴”的公司凤毛麟角。在中国,业界普遍认为腾讯、百度和阿里巴巴三大互联网龙头公司已经成为大数据平台建设和发展的领头羊。



目前,百度、腾讯均已上市,据媒体报道,阿里巴巴正筹划赴香港上市。



百度于2005年8月5日登录纳斯达克上市,发行价格为每股27美元。截至8月27日收盘,百度股价年内累计涨幅为34.73%,公司最新股价为每股135.12美元。



百度在大数据时代扮演的不仅是流量及资源共享的平台角色,公司更好地利用其大数据平台与其它电商企业进行合作创造了新的利润增长点;百度云平台提供的BAE(百度应用引擎)将提供高并发的处理能力,满足处理速度快的要求。不仅如此,百度移动客户端统计、移动搜索数据分析及移动调研报告等分析,能够为开发者提供强大的统计分析服务,让开发决策更加有据可依。



百度云技术品牌总监陈尚义先生表示,百度作为国内领先的互联网搜索商,在扩展搜索、突发访问搜索、百度指数上都充分利用了大数据。例如:在百度指数中输入当前最热门词汇之一手游,便可查到通过百度搜索手游关键词的客户年龄分布、性别、所在地域等多个特征,这其中的商业价值便随之而来,作为手游开发商如果充分利用这些特征,对于手游产品开发的针对性、地域推广的区别性便有了可参考指标。



除百度外,腾讯是在大数据时代下,公认的最具有商业价值的一家互联网平台上市公司。公司于2004年6月16日在中国香港上市,发行价格为每股3.7港元,截至8月27日,公司的最新收盘价为每股362.00港元,年内累计涨幅45.38%。相对于阿里巴巴、百度等互联网公司,腾讯的产品线更丰富、广泛,从门户网站到微博、视频、电子商务、开放平台等有多个跨平台领域。因此,腾讯更加充分、完整地记录了人们在互联网上的行为轨迹和社会属性。当用户在互联网上留下自己的行为轨迹并生成大量数据时,可挖掘的商业价值也较高。



业内人士表示,在中国,腾讯是最具类似“Facebook+Twitter”大数据基因的互联网公司,作为大数据平台的龙头公司,用户可以在腾讯空间平台上分享日志、照片,微博,又有不同的线索可对人群进行划分,这些都产生了海量的有价值数据,这些强关系链和弱关系链的组合,能让广告客户更加精准得将广告信息推送给目标人群。



除上述三家领头平台公司外,目前上市的中概股大数据平台上市公司还有网易,新浪,搜狐。网易于2000年6月30日在纳斯达克上市,截至8月27日,公司最新收盘价为每股73.36美元,年内累计涨幅72.49%;新浪于2000年4月13日在纳斯达克上市,截至8月27日,公司最新收盘价为每股76.75美元,年内累计涨幅52.83%;搜狐于2000年7月12日在纳斯达克上市,截至8月27日,公司最新收盘价为每股60.61美元,年内累计涨幅28.03%。



网易、新浪、搜狐有望成为大数据平台类上市公司中的第二梯队,在这三家公司中,新浪的大数据运用处于领先地位。去年年底,新浪微博启动信息流广告测试,根据兴趣爱好和社交关系向网友推荐相关信息;今年4月份,新浪微博宣布与阿里进行战略合作,明确表示将在大数据业务层面展开持续深入的合作探索;5月份,手机客户端附件功能的加入以及Page页面的发布,是新浪微博推进大数据战略的又一重要举措。



随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代。在此背景下,对这些海量数据的收集、存储及分析已经成为一个非常重要且紧迫的需求。近几年兴起的分布式计算技术,如Google的Map/Reduce、GFS等给人们带来了新的方法与思路。从国内情况看看,拓尔思、东方国信、同有科技等上市公司成为当前海量数据处理“三尖兵”。



拓尔思



通过并购向应用领域延伸



拓尔思是大数据领域海量非结构化信息自动化、智能化处理领域的佼佼者,从底层技术、平台产品到应用产品和服务技术产品完备,基于自主平台的企业搜索、机器挖掘、SMAS和OM等产品技术先进应用范围广阔,随着市场的成熟未来前景广阔。



今年初,拓尔思发布关于使用超募资金参股广州科韵信息股份有限公司的公告,公司经董事会批准,使用公开发行股票募集的超募资金中的1600万元通过受让股份和增资的方式,取得广州科韵信息股份有限公司30%的股权。



拓尔思并购科韵信息有利于公司大数据应用落地。广州科韵公司在流动人口和社会管理研究、体育领域软件研发有深厚经验,在上述细分领域存在竞争优势,并且是国家体育总局羽毛球中心主要信息技术合作伙伴。科韵公司所定位的流动人口信息管理领域具有数据量大,管理分析要求高的特点,拓尔思参股并增资科韵公司可以使TRS大数据相关的新技术新产品结合具体行业得到深度应用机会,进一步创造新的应用价值和模式,让大数据应用落地。



东方国信



拓展工业和金融数据领域



东方国信主要为电信运营商提供智能系统解决方案,包括软件产品开发与销售、技术服务和相应的系统集成等。具体产品可分为企业数据平台、数据分析平台和基于BI的CRM应用三类。公司拥有电信行业通用数据模型、数据清洗等多项核心技术,能够为客户满足在数据仓库建设、经营分析、决策支持、数据挖掘等众多领域的需求。



2013年8月1日,东方国信发布公告称,公司拟通过向特定对象非公开发行股份和支付现金相结合的方式购买北科亿力公司和科瑞明公司100%的股权。



开拓非电信行业大数据业务。2012年度,公司非电信业务收入占比上升至9.79%;北科亿力和科瑞明分别处于工业软件开发与服务行业、金融软件开发与服务行业,通过并购,公司进一步增加非电信业务收入占比。



收购北科亿力,拓展工业大数据领域。北科亿力致力于钢铁行业高炉检测和智能模型领域,结合东方国信的相关BI技术,进入工业软件、工业大数据领域,拓展生产、设备、机器类大数据和商业智能领域。



收购科瑞明,拓展金融行业大数据领域。科瑞明专注服务于农村信用社,是国内农村信用社商业智能系统的核心供应商之一;农村信用联社市场而言,商业智能处在起步阶段,客户深度挖掘潜力巨大;通过收购科瑞明,公司进一步拓展了金融BI市场。



同有科技



国内数据存储市场龙头



数据的爆炸式增长以及对数据的重视程度催生了对存储的需求。从全球和中国的情况来看,存储行业的景气程度都比较高,全球存储行业的增长在15%以上,中国存储市场的增速约为16%,中国存储市场的发展由于起步较晚,发展空间更大,EMC等存储行业的领先公司今年在中国区的营收目标同比增长超过50%。



公司是国内领先的、拥有自有品牌和自主知识产权的、专注于企业用户市场的民族存储厂商,主要从事数据存储、数据保护、容灾等技术的研究、开发和应用;旨在通过提供高品质的存储产品、一流的解决方案和专业的技术服务,为政府、军队军工及大型企事业的数据中心、云计算、物联网等构建高效、稳定、可靠的存储、备份和容灾系统。经过十余年的高速发展,公司形成了以自有品牌产品为主导和核心,覆盖数据存储、数据保护、容灾三大领域的业务体系。



分析人士认为,公司从最早的代理起家,在技术含量、门槛极高的存储领域逐步一点点积累形成自有的完整产品线,深耕了政府、军工两个重要行业,随着上市后平台的提升,现金流的充沛,未来有望获得在更大数量级订单的实力。且可通过国家扶持以及美国核心存储产品对中国敏感领域的禁售政策来超越国外强劲竞争对手。





参加相关培训并通过考试的学员,可以获得: 1.由人力资源和社会保障部中国高级公务员培训中心、全国信息化计算机应用技术水平教育培训管理中心颁发《大数据技术工程师技术水平教育培训》证书。该证书可在人社部中国国家人事人才培训网查询(http://www.chinanet.gov.cn),可作为能力评价、考核和任职的重要依据。 2.中国科学院计算技术研究所教育中心颁发的《大数据技术工程师》培训证书。

大数据技术已经成为互联网后的又一个里程碑意义的科技革命与生产力革命,也是产业结构战略调整的战略机遇。如何管理自身的业务大数据,从中获取智慧,对传统业务再造并实巨大价值的产品和服务?如何将大数据困境转换为大数据宝藏?如何从大数据概念炒作到实践落地?

由北京理工大学大数据搜索挖掘实验室、中国科学院计算技术研究所教育中心联合主办,大数据论坛联合承办,开设大数据技术进修班。聘请北京理工大学赵燕平教授、张华平博士、北京市外办信息中心姜伟主任、清华大学马宝君博士等知名专家全面讲授大数据架构、大数据搜索、大数据挖掘以及大数据应用四大板块,分享亲身经历的大数据应用,并为学员提供大数据搜索挖掘工具的实训。

授课时间 978日上午9:00-12:00,下午13:30-16:30 ( 16:30-17:00 开放式讨论答疑 )

进修费用 4980元(包含发票,讲义,教材,工作餐,与讲师互动自助晚餐会); 老学员或同单位三人以上报名九折优惠; 全日制学生凭学生证优惠价格2980元,不含发票。差旅及食宿费用自理

授课方式 :(a)《大数据搜索与挖掘》教材(科学出版社); (b)中文多媒体讲义;

             (c) 针对学员具体需求的互动交流会。 (d)大数据搜索与挖掘工具实训;

(e)互动自助晚餐会;

大数据技术培训

主讲讲师:张华平:北京理工大学大数据搜索挖掘实验室主任,博士,副教授

             赵燕平:北京理工大学教授,教育部电子商务专家

             姜伟:北京市外事办信息中心主任

             马宝君:清华大学搜索评价与推荐系统专家

小班授课:为保证充分讨论,确保进修效果,采用小班授课,名额有限,先到先得。

培训内容:《科学的大数据观》《云计算与大数据架构》《大数据精准搜索关键技术》          

          《大数据挖掘关键技术》《大数据搜索与挖掘平台工具实训》 

          《大数据与电子商务应用》《大数据在电子政务中的应用》《微博大数据挖掘》 

          《大数据困惑及解决》《方案应对讨论》

报名地址:http://118.192.14.52/bigdatatrain/

赵老师   010-68918050    13681251543


转载于:https://my.oschina.net/u/1160813/blog/157657

你可能感兴趣的:(大数据平台搭建技术底座 四行业迎来新机遇)