2014年12月总结和2014年1月计划

2014年12月总结：

这月1号新工作开始了我的大数据之旅，从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑，不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下：

mosquittio->flume agent->flume collector->sparkstreaming/hive->mysql/redis。使用的是CDH5.2.0。 spark使用的是spark on yarn

实际上只是勉强搭建出来勉强负担现在的业务，大部分东西只是知道大概如何使用，不清楚具体的原理，当项目推展开数据上来后，心里完全是没有底的，这也是没办法，时间太紧了。希望下个月兼顾工作的同时，能对现在的事情心里有个底儿吧。

同时，这月开始试着去写博客，在博客中记录我工作期间遇到并解决的坑，和工作期间学习的一些知识一些心得。

 

2015年1月计划：

1、学习并熟悉使用spark ,spark sql，sparkstreaming，熟悉其中的原理，熟悉优化，熟悉如何评估集群的负载能力。（针对多少量的数据，使用什么样的集群）

2、通读一下flume的源码，解决一下期间我自己留下的各种疑惑。 同时也需要确定如何评估和监测flume的具体负载能力。 将来生产环境的数据量是随着上的客户增多而增多的，大体的数据规模是可以预测的。 但我对于flume的负载能力是一点都没有底，希望通过研读代码来确定这些。

3、 期间正在学习炼数成金的算法导论，所以继续学习

4、将手里的Spark大数据处理读完，并且开始阅读hadoop权威指南（第三版）