项目经验：某大厂大数据项目总结

2015年有幸加入某大厂大数据项目，在此之前从没有接触过大数据这类高大上的技术，进入大厂之后才发现，原来大厂在做研究项目，也就是商业化前的可行性论证，也只有大厂会花这么多人力、物力做这个。当时物色了很多优秀的人才，有海龟博士、国内顶尖计算机专业硕士、资深大数据专家等等。但最终做了两年不到，项目最终被解散，回过头来总结经验，虽然时间隔得有点远，但很有必要。

一、业务需求

1. 空间更小，速度更快
   当时做这个项目的业务需求很简单，就是“空间更小，速度更快”，据说当时客户都已经找好了，农行总行、腾讯都很看好我们这个项目，我们最终还带着项目到农行总行那边去部署过，也算是很接近成功了，后来由于项目商业化立项没通过，最终被并入公司另外一个商业化产品中。
   其实进入项目之后，第一个月完全不知所以然，项目的框架，hadoop、spark、mesos是什么，为什么要开发这么多项目，完全是雾里看花，等慢慢熟悉这个项目之后那是三个月后，我们有自己的第一个版本的项目出来，可以在自己的服务器上部署和使用了，虽然使用界面还不是特别友好，系统还有很多BUG，但是对技术和团队的信任，还是信心满满的一往直前。第一次迷茫的时候是进项目六个月后，那个时候发现我们做的这个项目硬件依赖太强了，而且硬件项目的进度一直延后，后来请美国的专家过来做了一段时间问题还是很多，软件系统慢慢的逐步成型，但硬件系统始终有问题，项目出现分水岭的时候是有一次跟中移动去竞标，当时竞标的结果是中标了，硬件由于问题太多，短时间无法完全修复，最终还是流标了。
2. 项目卡死在散热上
   这个时候回过头来梳理，软件基于开源的基础上去修修补补功能，虽然也遇到很多问题，但最后都被我们完全克服下来了。但硬件的伤却无法短时间愈合，一直到项目终止的那一刻，还是有很多问题依然存在。当时的业务需求是基于大数据技术（mesos+spark+zeppelin）提供一体机，把硬件加软件的优势显现出来，在设计硬件的时候把64个CPU放在一个1005030立方厘米的空间内，散热是个很大的问题，散热问题会造成很多后期预想不到却又无法定位到的问题，也许最终我们失败的原因就在此。

二、总结

1. 项目虽然终止了，但在这个项目过程中学习到的经验终生难忘，能像该大厂这样子投入做项目的很少，当项目立项之后，各种资源和支持，我们当时开发和测试的服务器都达到两百多台，内存条按每台服务器插满24根算的话，我们保守估计使用到的内存条两千根，还有FPGA，固态硬盘等；但项目一旦没通过立项，整个团队很快就完成人员分流、项目总结等等，执行力很强。心态开放，虚心学习很重要。
2. 这么优秀的团队，能调动这么多的资源，这么大力度的支持，最终项目还是没完成，要想做成一件事有多难，就像要组装一辆汽车需要拧100个螺丝，99个螺丝我们都拧好了，就是最后一个拧不上，车最后还是没组装好还是不能出厂；你要成功很难，100个螺丝都要拧好才行，缺一个都不行；但你要失败太容易了，随便一个螺丝没拧好都能做到，所以做事我们要抱着敬畏的态度去做，拧好每件事的所有螺丝。