独步spark

[snail注]  《独步 spark》系列文章纯属Mr.Snail瞎扯、闲聊,目的在于: 记录Snail在学习spark过程中的所思所想 ; 记录生活中所发生的有趣的事情;snail :抽象自“ 该不该搁下重重的壳,随着轻轻的风轻轻的仰望 ”

参考

http://hadoop.apache.org/

王家林 DT大数据梦工厂系列 , 致谢!

网上关于三次工业革命的各种杂乱文章


场景

大数据时代对程序员意味着什么;  开启漫长的金字塔独步之旅


随笔

在这个城市的冬天遇见你

                                                                                                                                                                -《独步 spark》序  by Mr.Snail

沈阳的冬天有点漫长有点冷,12月至一月份最冷,听说2013年的一月创沈阳46年来最冷!

正是在这个城市的地铁口,Snail 头一次从小伙伴的口里听到“Hadoop”,“大数据时代“等词。早就对东北这片神奇的土地很感兴趣,snail毕业前对这里的印象停留在:天不高,甚至有点蓝;人高大,性格豪爽,特能喝。snail尤其喜欢东北口音,无数次暗自模范“哦啦”,“杠杠得”等词语的发音,并乐于其中。

独步spark_第1张图片

沈阳东软软件园A园区

记得大学英语老师上课提到过,喜欢那感觉– 在哈尔滨的大冬天,穿上厚厚的棉衣,把全身包裹起来,只露两只眼睛-真没想到snail第一次爬至东北最大的城市沈阳(不是哈尔滨),就能深度体验这种美。从东软软件园B区员工宿舍到A区办公楼步行大概需要10分钟左右,正是在这条路上snail体验了沈阳冬天的美!在很多个不知名的晚上,snail独自将全身“武装”起来,从宿舍步行到A区一楼健身房:金黄色的路灯高挂,行人极少,偶尔有公交经过,很安静。一路上伴随snail的是鞋底与雪地摩擦迸发出来的脚步声,还有那款黑色头戴式mp3里某首不出名的歌:

“我曾有很多梦想,摇动在每个醒来的清晨 ,敲打着我的心房”,“所有的青春有无悔烦恼和成长,所有的理想有呐喊张扬和倔强,所有的梦想有我无穷无尽的力量,今天我终于站在这年轻的战场”。写到这里,snail又刻意翻出许巍的这首《我有一个梦想》听了一下。

独步spark_第2张图片

始于马蹄山下

好,回忆先放到这里。大数据时代对程序猿来说意味着什么呢?作为一枚java程序猿,snail尝试弄清初这个问题。以下的一些理解主要抽象自 Apache Hadoop 官网相关文档,以及王家林-DT大数据梦工厂系列文章:


一、从工业革命、电气革命、信息化革命到数据革命


啊,这绝对是一个高大上的话题:人类历史上经历了几次科技革命?
snail只对代码、音乐还有女人与小孩这类小问题感兴趣,对于高大如”社会制度“,”发展前景“以及”革命“等官方色彩浓厚的大问题实在不感冒。但是,大’数据‘时代到底是怎样的一个时代啊?这得先了解人类已经历过的几次科技革命:
第一次科技革命:又称工业革命,18世纪60年代起,蒸汽机的广泛应用,使生产力大为提高(瓦特改良蒸汽机)。
第二次科技革命:又称能源革命,19世纪70年代起,电力的广泛使用到太阳能,风能的使用,改变了社会结构和世界形势。
第三次科技革命:又称数据革命,20世纪40年代起至今,计算机的诞生与发展进一步改变了世界形势。
snail大胆将数据革命瞎分为三个递进阶段:[互联网-]阶段,[互联网]阶段(1990年至2010年前后)以其[互联网+]阶段。
90年左右时互联网上的数据来源主要是家用电脑,到了最近几年,什么电视,冰箱,手机,手表,手环等各种电子设备里的产生数据都跑到互联网上来了,数据量确实猛增。好,装逼到此结束(以上言论,snail随手抄编自网上,管它真假呢)!

二、打造完美世界,塑造智慧星球

独步spark_第3张图片

截自hadoop官网

蒸汽机的出现标志机械时代的来临,snail 猜想Hadoop的诞生标志大数据时代的来临。当然,你也许会说没有hadoop,数据量还是会猛增,大数据时代一样会来临啊 -但是,要挖掘出大量数据中所蕴含的能造福人类社会的宝贝,我们就得收集数据、分析数据,而 hadoop 这个大型的分布式开源项目,正为我们提供了一个分析大数据的强有力的工具。写到这里,情怀满地的 snail 忍不住极端又粗暴地作一番总结:

工业革命时代,机械工程师(会玩弄蒸汽机的家伙)是这场运动的弄潮儿;大数据时代,会鲁码的程序员是这场运动的主力。

时代赋予精通 java与scala、能玩转hadoop,spark等大数据处理框架的程序员一个神圣使命:打造完美世界,塑造智慧星球!

至于大数据到底有多大、埋藏了哪些宝贝、对江湖上传言的挖宝圣经”hadoop构建大数据的基础设施,Spark是大数据的核心计算框架“的理解以及 snail 如何优雅的面对生活等一系列现实问题与矛盾,依然困扰并将长期困扰snail … snail 决定在这个城市的初夏开启漫长的金字塔独步之旅 。

yes, I love pains ! 用蓬勃的生命力战胜人性的悲剧性!


连续写了近4个小时,洗洗睡。


瞎说

  1. 打造完美世界,塑造智慧星球:时代赋予精通java与scala、能玩转hadoop,spark等大数据处理框架的程序员一个神圣使命。
  2. I love pains : 用蓬勃的生命力战胜人性的悲剧性。

你可能感兴趣的:(独步spark)