独步spark
[snail注] 《独步 spark》系列文章纯属Mr.Snail瞎扯、闲聊，目的在于: 记录Snail在学习spark过程中的所思所想 ; 记录生活中所发生的有趣的事情;snail ：抽象自“ 该不该搁下重重的壳，随着轻轻的风轻轻的仰望 ”
参考
http://hadoop.apache.org/
王家林 DT大数据梦工厂系列 ， 致谢！
网上关于三次工业革命的各种杂乱文章
场景
大数据时代对程序员意味着什么; 开启漫长的金字塔独步之旅
随笔
在这个城市的冬天遇见你
-《独步 spark》序 by Mr.Snail
沈阳的冬天有点漫长有点冷，12月至一月份最冷，听说2013年的一月创沈阳46年来最冷！
正是在这个城市的地铁口，Snail 头一次从小伙伴的口里听到“Hadoop”，“大数据时代“等词。早就对东北这片神奇的土地很感兴趣，snail毕业前对这里的印象停留在：天不高，甚至有点蓝;人高大，性格豪爽，特能喝。snail尤其喜欢东北口音，无数次暗自模范“哦啦”，“杠杠得”等词语的发音，并乐于其中。
沈阳东软软件园A园区
记得大学英语老师上课提到过，喜欢那感觉– 在哈尔滨的大冬天，穿上厚厚的棉衣，把全身包裹起来，只露两只眼睛-真没想到snail第一次爬至东北最大的城市沈阳（不是哈尔滨），就能深度体验这种美。从东软软件园B区员工宿舍到A区办公楼步行大概需要10分钟左右，正是在这条路上snail体验了沈阳冬天的美！在很多个不知名的晚上，snail独自将全身“武装”起来，从宿舍步行到A区一楼健身房：金黄色的路灯高挂，行人极少，偶尔有公交经过，很安静。一路上伴随snail的是鞋底与雪地摩擦迸发出来的脚步声，还有那款黑色头戴式mp3里某首不出名的歌：
“我曾有很多梦想，摇动在每个醒来的清晨 ，敲打着我的心房”，“所有的青春有无悔烦恼和成长，所有的理想有呐喊张扬和倔强，所有的梦想有我无穷无尽的力量，今天我终于站在这年轻的战场”。写到这里，snail又刻意翻出许巍的这首《我有一个梦想》听了一下。
始于马蹄山下
好，回忆先放到这里。大数据时代对程序猿来说意味着什么呢？作为一枚java程序猿，snail尝试弄清初这个问题。以下的一些理解主要抽象自 Apache Hadoop 官网相关文档，以及王家林-DT大数据梦工厂系列文章：
一、从工业革命、电气革命、信息化革命到数据革命
啊，这绝对是一个高大上的话题：人类历史上经历了几次科技革命？
snail只对代码、音乐还有女人与小孩这类小问题感兴趣，对于高大如”社会制度“，”发展前景“以及”革命“等官方色彩浓厚的大问题实在不感冒。但是，大’数据‘时代到底是怎样的一个时代啊？这得先了解人类已经历过的几次科技革命：
第一次科技革命：又称工业革命，18世纪60年代起，蒸汽机的广泛应用，使生产力大为提高（瓦特改良蒸汽机）。
第二次科技革命：又称能源革命，19世纪70年代起，电力的广泛使用到太阳能，风能的使用，改变了社会结构和世界形势。
第三次科技革命：又称数据革命，20世纪40年代起至今，计算机的诞生与发展进一步改变了世界形势。
snail大胆将数据革命瞎分为三个递进阶段：[互联网-]阶段，[互联网]阶段（1990年至2010年前后）以其[互联网+]阶段。
90年左右时互联网上的数据来源主要是家用电脑，到了最近几年，什么电视，冰箱，手机，手表，手环等各种电子设备里的产生数据都跑到互联网上来了，数据量确实猛增。好，装逼到此结束（以上言论，snail随手抄编自网上，管它真假呢）！
二、打造完美世界,塑造智慧星球
截自hadoop官网
蒸汽机的出现标志机械时代的来临，snail 猜想Hadoop的诞生标志大数据时代的来临。当然，你也许会说没有hadoop，数据量还是会猛增，大数据时代一样会来临啊 -但是，要挖掘出大量数据中所蕴含的能造福人类社会的宝贝，我们就得收集数据、分析数据，而 hadoop 这个大型的分布式开源项目，正为我们提供了一个分析大数据的强有力的工具。写到这里，情怀满地的 snail 忍不住极端又粗暴地作一番总结：
工业革命时代，机械工程师（会玩弄蒸汽机的家伙）是这场运动的弄潮儿;大数据时代，会鲁码的程序员是这场运动的主力。
时代赋予精通 java与scala、能玩转hadoop,spark等大数据处理框架的程序员一个神圣使命:打造完美世界,塑造智慧星球！
至于大数据到底有多大、埋藏了哪些宝贝、对江湖上传言的挖宝圣经”hadoop构建大数据的基础设施，Spark是大数据的核心计算框架“的理解以及 snail 如何优雅的面对生活等一系列现实问题与矛盾，依然困扰并将长期困扰snail … snail 决定在这个城市的初夏开启漫长的金字塔独步之旅 。
yes, I love pains ! 用蓬勃的生命力战胜人性的悲剧性！
连续写了近4个小时，洗洗睡。
瞎说
- 打造完美世界,塑造智慧星球：时代赋予精通java与scala、能玩转hadoop,spark等大数据处理框架的程序员一个神圣使命。
- I love pains ： 用蓬勃的生命力战胜人性的悲剧性。