站在大数据时代的浪潮之巅

(东北大学计算机学院夏令营心得总结)

禁止转载。

前记

从初了解东北大学计算机学院夏令营到现在,前前后后一个多月的时间。在这一个多月中,有困难有坎坷,有收获有欣喜。无论结果如何,参加东北大学计算机学院夏令营都是我在东大的时光中,难忘的一段回忆。

出生在这座美丽的城市,在沈阳生活了二十二年,这座城市的每个街道和角落都令我留恋。曾经,读万卷书而后渴望远走高飞背井离乡,后来,行过了万里路,才方知家乡是最好的港湾和归宿。我喜欢读书,读纳兰容若,我哭了,那句声声催忆当初,欲眠还展旧时书,那句泪与灯花落,无处不伤心,我深知他心伤,却与之时光相隔;读泰戈尔那飞鸟与秋叶的感伤,读他那樵夫的斧头和树的为爱放弃;我读顾城,那最狂的风,那最静的海;读北岛,读他的漂泊,读他那句我不相信;读沈从文,随他去湘西,去云南,看那桥上绿叶红花,桥下流水人家;也读三毛,读村上春树,也读过一些记不起名字的欧美作家。我喜欢旅行,漫步华灯初上的南锣鼓巷和烟袋斜街,初春的凤凰古城,银装素裹的果戈里大街和圣索菲亚大教堂,烟雨缭绕的大明湖畔。重峦中,风吹柳动蝉鸣,长街上,人马川流不息,城墙下,那是来自时空尽头的历史和铭记。

我曾经就读于沈阳航空航天大学,一所除了辽宁省外在二本招生的大学。我深知学习的机会来之不易,也深知学习环境和学术氛围的重要性。我不甘,于是已经读了一个学期,成为学院佼佼者的我,在朋友的质疑中,在同学的不解中,选择了重新高考,四个月寒窗来到了计算机学科全国顶尖的东北大学。我想,我的故事并没有结束,我喜欢计算机领域,喜欢这座城市,也喜欢这所学校。我深深的爱着他们,那是一种一想起来就会心潮澎湃的感觉。留在这里继续深造,也慢慢成为我的理想和方向。两天的夏令营时间虽短,然而与各位来自全国的同学的一同学习,对我院的科研方向、对我们的校企的产业都有了深刻而全面的了解,使我受益匪浅,也更加坚定了我在本校深造的决心。

我一直在追逐着一场梦,从未停下脚步。

站在大数据时代的浪潮之巅

—— 计算机学院夏令营讲座及参观东网科技有感

大数据一词出现在大众视野中,是近五年才开始的事情。我本人最早了解到大数据的概念,也是从那个时候,在新华书店的畅销书柜台上偶然发现了维克托教授所著的《大数据时代》一书。当时粗略地翻了几页,尚还不能较为准确的理解大数据一词和它要表达的概念,但这个词语却深深地印在我的脑海之中。两年后,我如愿进入了东北大学计算机科学与技术专业学习,机缘巧合又与此书结缘,这才真真正正地拜读了这本大数据的先河之作,对大数据的才有了较为全面的了解。

随着互联网和移动设备的普及,光纤通信和第四代移动通信的发展,加之物联网的兴起,信息的采集、传播的速度和规模已经到达空前的水平。大量的信息数据涌入人类社会,每个人都是这些数据的产生者,也是信息社会所带来便利的受用者。从爆炸式的海量数据中提炼价值,使之受用于人类社会,是数据科学领域崭新的研究方向,也是大数据概念的意义所在。

夏令营第一天,袁野教授的讲座深入的为我们介绍了大数据的概念,大数据与数据库的关系,和一些关于大数据的热点问题。在讲座中,袁野教授为我们详细的讲解了大图数据的管理技术,使我们对此有了更为明晰的认识和了解。图作为一种复杂的数据结构,广泛的应用于生物信息学、有机化学、社会关系学和其他客行各业的研究之中,大图数据管理技术以此为研究背景,深入的探讨了图数据的集中式管理和分布式管理两种管理方式。集中式图数据管理,包括事务图数据库和大型网络数据。其中事务图数据库又有基于图特征、基于图闭包、基于图编码三种索引类型,大型网络数据有基于生成树和基于不相交链的两种编码方式。分布式图数据管理,消除了集中式管理的局限性,通过Map_Reduce、Pregel、Pegasus、Trinity等平台使开发人员可以关注算法本身,而非系统实现。大数据尤其是大图数据,将是数据科学的前言发展方向。

在大数据概念出现之前,计算机科学领域非常依赖模型和算法。如果想得到精确的结论,需要建立模型来描述问题,同时需要理顺逻辑,理解因果,设计精妙的算法来得出接近现实的结论。因此,一个问题,能否得到最好的解决,取决于建模是否合理,各种算法的比拼成为决定成败的关键。然而,大数据的出现彻底改变了人们对于建模和算法的依赖。但数据越来越大时,数据本身保证了数据分析结果的有效性。即便缺乏精准的算法,只要拥有足够多的数据,也能得到接近事实的结论。

举一个例子,在机器翻译时,并不必需设定各种语法和翻译规则,而可以利用数据库中收集的用户的用词习惯进行比较推荐,通过检查用户的习惯,将最常用、出现频率最高的翻译方式推荐给用户。在这个过程中,当用户行为的记录数据越来越多时,计算机就可以在不了解问题逻辑的情况下提供较为可靠的结果。

然而计算这样大规模的数据,靠单台服务器是无法实现。强大的计算能力,是处理大数据的必然需求。大数据代表了互联网的信息层,是互联网智慧和意识产生的基础。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术对海量数据进行分布式数据挖掘。

物联网、移动互联网再加上传统互联网,每天都在产生海量数据,而大数据又通过云计算的形式,将这些数据筛选处理分析,提前出有用的信息,这就是大数据分析。可以认为,物联网是大数据的数据来源,是数据收集的细枝末节,云平台、云计算作为计算资源的底层,支撑着上层的大数据处理,人工智能是大数据的应用,是传统的计算方法和大数据的数据科学结合的产物。通过物联网产生、收集海量的数据存储于云平台,通过大数据的分析,进行深度学习,使之更好的为人类社会所用,这是大势所趋,是计算机科学领域乃至整个工业领域的发展方向。

夏令营的第二天,在东网科技的所见所闻同样印证上述的观点。东网科技是一家全球视野的数据与基础设施服务商,由东北大学、政府及战略投资者联合创立,业务覆盖云计算、大数据、智慧城市、空间信息、移动互联网等领域。东网科技以大数据时代的智慧生活为发展愿景,依托于强大的技术背景和极富实践精神的运营理念,面向政府、公共事业、企业及公众提供优质、便捷、安全的数据及相关服务。东北区域超算中心由东网科技运营,拥有1170万亿/秒的浮点计算能力,是东北地区最大的超级计算平台,也是东北及至东北亚地区开展科技研究、技术开发和产业创新的重要科技基础设施。东网科技云计算中心致力于整合云计算全产业链的技术与产品,推动云计算关键核心技术的自主研发与创新,以及典型共性技术的市场转化和应用。与此同时,东北大学与东网科技联合创立了大数据研究院,是国内首家高校背景、有强大基础设施和行业专家支撑的大数据产学研用一体化科研机构。空间信息区域数据应用中心再国防科工局指导下,由东北大学、东网科技联合成立,具备在高分、资源、天绘、环境、风云等国产高分辨率系列卫星的遥感数据获取、处理与规模应用的核心优势。由东网科技的蓬勃发展可见,大数据与云计算的相辅相成的发展越来越成为IT行业尖端企业的发展趋势。

大数据时代已经来临,如何从海量数据中发现知识,寻找隐藏在大数据中的模式、趋势和相关性,揭示社会现象和社会发展规律,以及可能的商业应用前景,都需要我们拥有更好的数据洞察力。将看上去杂乱无章的数据经过挖掘、加工和整理,从而得到了有意义的统计规律。大数据的分析方法改变了我们的思维方式,让我们从传统的因果关系向相关关系过渡,也改变了我们的生产方式,信息产品的加工愈加成为更重要的生产活动,同时也它也走进我们的生活之中,改变了我们的生活方式。智慧物流、智慧交通、智慧医疗,一个个新兴的产业崭露头角,未来的世界中“智慧”将无处不在,也正是大数据支撑这些智慧产业蓬勃发展。

吴军博士所著的《浪潮之巅》一书中,讲述了一个又一个时代的浪潮,从芯片行业到软件行业再到移动通信行业,从商业模式到金融,从互联网2.0到云计算。能否赶得上时代的浪潮,决定着企业的兴衰成败,也决定了个人的发展前景。正如在夏令营讲座上袁野教授引用华罗庚先生所说的,“科学上没有平坦的大道,真理长河中有无数礁石险滩。只有不畏攀登的采药者,只有不怕巨浪的弄潮儿,才能登上高峰采得仙草,深入水底觅得骊珠。”而大数据,或许正是这个时代的浪潮。我们,一群不断追求上进的弄潮儿,或许正站在这个大数据时代的浪潮之巅。

你可能感兴趣的:(站在大数据时代的浪潮之巅)