2017年2-4月阶段总结

2017年从2月到4月底已经过去了三个月，回首过去，总结经验，展望未来。本文将从以下几个方面对过去的三个月做个总结。

技术的增长

在短短的三个月，往大脑中塞入了大量新技术，新知识。涉及python、Tornado、mongodb、运维工具(expect，shell，fabric)，hadoop、hbase、hive、zookeeper、ycsb、ganglia等。总结起来可以分为两个阶段：python速成，hadoop生态初步接触。下面就从这个两个阶段进行总结。

Python速成

通过小项目驱动的形式，快速的从Python小白到能熟练的使用Python快速的解决各种问题。主要又分为了两个方面。
1、从股票数据的采集——>k线的合成——>数据的存储——>对外提供api

从tushare中采集股票的tick数据，然后实时的合成分钟线，存储到文件和mongo中，最后利用tornado搭建实时服务接口 tornado 实时服务架构设计 | 燕十 ，对外提供股票实时的分钟数据。一环扣一环的，就差没有使用vue写个前端把数据展示出来。
从熟悉Python的基本语法，数据结构，网络采集，异常处理，数据库操作，多线程，多进程，类，到使用Python框架tornado，一应俱全。一步一个坑，扎扎实实的入了Python的门。

2、房屋数据采集—>数据清洗—>模型训练

这是我的毕业设计，全程采用Python，从各大租房网站上采集房屋数据，到实时入库，数据清洗，到使用Scikit-learn建模。逐步熟悉了爬虫的编写，页面数据的解析，网络异常方面的处理，数据方面的处理，机器学习库的使用。

至此，通过两条线，我可以说对Python还是熟悉的，高级技巧不会，低级的难不倒。

hadoop生态初步接触

三月份开始入坑hadoop相关方面的生态，至此已经入坑2个月，从深陷沼泽到满满爬出。也分为两个方面吧

1、虚拟机——>线上安装测试—->hive
为了搭建公司的正式线上的hadoop集群，现在虚拟机中搭建了一个测试版本，熟悉整个搭建的过程。然后搭建了线上的hadoop集群，中间解决了很多实际遇到的问题，并对hadoop集群做了基本的性能测试，累计产出6篇技术总结文档。在此过程中学习使用运维工具(expect，shell，fabric)来对hadoop集群进行自动部署，管理等，还没有好好的总结一下。
随后又是折腾了一周的Hive，将股票的历史数据导入hive，做一些测试，使用Python连接Hive，hive分区，查询性能优化。

2、Hbase
从Hbase的性能开始，利用微博的数据进行性能方面的测试，逐渐的遇到了使用python写入Hbase的timeout问题（见 python写入Hbase超时问题分析 | 燕十） ，Hbase的热点问题，性能的优化。中间上了YCSB压测工具，ganglia性能监控工具。逐渐了解Hbase的特点，如何去优化，如何解决遇到的问题。Hbase就是我这段时间最难啃的骨头。

我画个图，来归纳总结一下。

我只想说，一个人啃着hadoop生态里这些螃蟹，越来越有点味道了，尽管前面坑无数，该跳的还是得跳。

阶段总结

总结完主要的部分——技术的增长，来概要总结一下其它方面的情况。
1、累计输出技术总结文档10篇左右，写文档的能力大幅提升
2、对问题的分析，思考过程逐渐深入
3、完全无师自学入门hadoop
4、编程装备：电脑支架，防蓝光眼镜，机械键盘都，眼部按摩仪都配齐了。

说了这么多好的，也必然有很多不足之处，列举三项主要的：
1、不能准确的抓住问题的要害，导致走很多的弯路，耗费很多的时间。如解决Hbase的超时问题.
2、有些关键点没有及时记录，总结没到位，导致二犯。
3、身体素质有点下降，天天对着电脑，头有点蒙逼

下个阶段的规划

为未来3个月(5月到7月底)做些规划
1、解决逐步解决一下两个问题
如何能够写成pythonic的代码，脱离低级的python开发者？
如何从源码上定位问题的原因？
2、hbase精通计划，逐渐阅读Hbase的源码，不只是停留在了解的层面上，要深入
3、机器学习基础计划：利用业余时间，学好机器学习的基础知识，主要是啃西瓜书
4、租房数据采集计划：不断采集各大租房网站的房源数据，用来找房和尝试各种机器学习算法

总说计划赶不上变化，但是前期计划能确定未来一段时间内大体的一个方向。

PS：欢迎想做租房数据研究方面的同学加入，主要工作有：
1、爬取自如，5i5j，58，安居客，蘑菇租房等房源的数据
2、数据整合预处理，格式化。
3、利用各种模型对数据进行建模分析。
4、数据前端展示(原型图见上面)
项目目标是能够解决两个问题：
1、找到一个潜在的制定租房价格的一个规则
2、更加快速的找到最优质的房源
有意向可以直接联系我：微信mindaxuxiaoping