大数据时代的java程序员

阅读更多

这两年IT行业最火的词是什么，毫无疑问是大数据。
众所周知，大数据多是出现在金融、电信、保险以及一些大型互联网企业等领域。随着国内移动通讯4G网络的发展，未来，半结构化数据（日志数据、web网页数据等）和非结构化数据（如视频、音频、图片等）的数量会远远大于结构化数据的数据，用户产生的数据信息会产生爆炸性的增长。目前，全球用户拥有50亿台手机，其中20亿台为智能电话，这相当于80年代20亿台IBM的大型机在消费者手里。各种各样的大数据应用需求迫切需要新的工具和技术来存储、管理和实现商业价值。新的工具、流程和方法支撑起了新的技术架构，使得企业能够建立、操作和管理这些超大规模的数据集和储藏数据的存储环境。

Hadoop的应运而生，正是一种用于大数据的主流解决方案，它在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势。

以前我们储存数据一般采用Oracle等商业数据库，这种关系型数据库通常用来处理结构化数据，处理大数据的时候虽然可以搭建集群，但是当数据量达到一定程度之后查询处理速度会变得很慢，且对机器性能要求很高。而hadoop作为一种云存储架构，hadoop的hdfs支持海量的数据存储，mapReduce支持对海量数据进行分布式处理。hbase作为一种nosql数据库（非关系数据库），支持海量数据存储，支持列的扩展，在表结构设置合理情况下，查询速度不受数据量大小的影响，且查询速度可以达到ms级，因此使用Hadoop和NoSQL可以构造海量数据解决方案。

随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是程序员转型可遇而不可求的机遇。如果将程序员统一比作一条船上的海员，大数据就是最大的浪潮，借浪潮之势而为之，可成功从程序员转型成为大数据专家。

对于已经有了三五年以上工作经验的java程序员来说，考虑未来如何发展是个问题，如果能转型成管理岗自然是好的，那么技术岗的就是架构师、dba等等。大数据技术的到来，使得程序员们有了新的追求，hadoop本身就是java的开源产品，java程序员往hadoop工程师发展也更自然一些，这值得成为程序员长期奋斗不断突破的工作;其次，由于大数据属新兴领域，通过查询国内外招聘网站，可以看出这方面的专业人才比较缺乏，高端人才更是企业争抢的对象。薪资上升容易，职业发展潜力巨大。因此成为经验丰富的hadoop工程师无疑是一条很好的发展之路。

最后，表示对所有对hadoop感兴趣的同学，推荐大家看《Hadoop权威指南》和《hadoop in action》这两本书，这两本书内容全面，由浅入深，很适合入门。在此学习路上，与大家一起共勉。