Hadoop 之父 Doug Cutting 在清华的讲座记录

0x00 前言

2014年，Hadoop之父Doug Cutting在清华开了一次讲座，当时三个小伙伴一起翘班骑自行车到现场听了这场讲座，很认真地做了笔记。 现在翻出来回顾一下感觉还是有不少感触的，稍加整理分享出来。

0x01 讲座记录

整个讲座约一个小时，两点半左右开始，前半个小时左右Doug Cutting 总共大概7张PPT，后半个小时互动。

Doug Cutting总共讲了大概7张PPT，每张PPT只有一个标题，正文是一张图片，内容主要讲的是自己的开源事业、lucene、hadoop等。

PPT One：Means For Change ： Hardware

提了moore定律，讲了处理器、存储这些硬件更新的速度很快。这是一个硬件基础。

PPT Two：Fuel For Change : Data

这里讲了一个逻辑，引出来了Open Source的重要性。

首先提出来Software is eating the industry，软件飞速发展；由此会产生各种各样的数据，而且数据量非常大，价值非常高；因此需要有Tools来处理这些数据，继而引出了下一张PPT：OpenSource。

PPT Three：Seeds For Change ：Open Source

关于开源软件的好处大概讲了一下，没有讲特别多，大致上也是方便开放，有用故而用之。

其中提到他自己开始开源事业的一个想法，就是在做lucene的时候，发现自己不适合搞Business，所以give it away~~

这张ppt还提到三个重要的component，没有听清是什么的三个组成部分，大概是整个计算机行业的？

三个分别是：Hardware、Data、Software

PPT Four：New DataStyle：Hadoop

这张PPT引出来了Hadoop，Hadoop大概介绍了一下。提到了GFS，hadoop的很多思想都是参考了gfs的。Google发表了论文，提出了它的这种理论，大家都很感兴趣，但是不是Google的原因，因此没法非常方便用。这时候Hadoop就出来了，OpenSource方便，易得。有其天然的亲民优势。

Doug Cutting提到自己去了Yahoo，因为Yahoo需要处理大量的数据，还有大量的硬件可以用，和自己很契合。

PPT Five：Style Catches on：Ecosystem

介绍了Hive、pig、spark等，没过多的讲。

PPT Six：Victor Emerges：Enterprise Data Hub

大致讲了自己在Cloudera工作，介绍了Enterprise Data Hub的重要。记得说了一句话： I am lucky in the right place in the right time.（语法感觉有点别扭）提到了这是future tool。

PPT Seven：The Data Multi-Tool

快结束了，说到了hadoop的一些存在意义，举了一个例子，这个例子正是PPT的图片，是个手机。大致意思是：手机可以干很多事，比如照相，但是照相的功能不如一些专业的相机。但是有一点可以确定，大家用手机照相的时间比相机多，为什么呢，因为手机一直在你身边，你什么时候都可以用，而且除了照相，我还可以把照片分享，总的来说，就是已经存在，而且方便。

Hadoop也类似，现在有很多的计算框架，Spark、Storm这类的。这种情况不必否认其他的存在，hadoop大家会比较熟悉，而且应用很广泛，在你需要的时候，可能你就有一个hadoop的集群环境，有些计算可能Spark性能更好，但是hadoop也可以做，方便使用。

这让我想到了操作系统，未必是windows最好，但是大家都习惯了，也就是够用了，再出现一个新的操作系统，除非你让我感觉有了你我就不想用windows了，windows已经够用了，不必非要把它换掉，类似道理。

0x02 现场问答

最后是提问时间，大该记录了几个问题。

1.安全问题。

Doug Cutting回答的大概意思是：技术解决+Social Solution。

感觉这是个难题，最近这几年安全问题越加严重。

2.relational database和 nosql

这个其实不是新问题了，Doug Cutting说的一句重点：each has its uses

3.spark，storm的存在

比如spark是用memory的，hadoop现在是hdfs，是否要向spark学习一下呢

Doug Cutting的大概回答是，这是ecosystem，每个component都有其作用，各善其职即可，I am happy to see spark。还有就是，这是开源软件，并不是一个公司控制了hadoop另一个控制spark，两个公司在竞争。因为是开源，最终的目的都是为大家所用。

现在的Hadoop和Spark的确是一个打的生态系统，不是竞争，是一种共生的感觉。

4.什么是bigdata

Doug Cutting回答了很长一串，最后听出来重点是：Not the size，it’s the style。

喏，bigdata是一种思想，一种处理方式上的体现。我是否可以理解为数据多少不重要，重要的是处理的方法？

5.Cloudera和Hortonworks

Doug Cutting也回答了一些客套的话，然后说的是：Happy competition。

0xFF 总结

在翻之前笔记，一晃眼就三年了，感觉的确挺快的，那时候还是个学生。 三年时间变化也挺大，以前对大数据懵懵懂懂还不知道自己会不会走上这条路，现在已经在这个行业混迹了接近两年了。

感谢Doug Cutting这些大佬，感谢开源社区，创造了千千万万的就业机会。