学习Hadoop你需要知道这些事情！

       三人行必有我师，人生是需要不断学习的，在这里我们相遇就是缘分，欢迎大家加群----四六零五七零八二四----让我们共同进步！

        随着大数据在国内的火热，越来越多的开发人员准备入行。但作为外行人员，对大数据的了解并不清晰，不确定自己目前从事的行业、掌握的技能是否能够达到学习大数据的要求。

       那么Hadoop作为大数据行业使用的主要框架，想进入大数据行业学习Hadoop开发是必须的。

Hadoop

        让Hadoop跑起来大概流程

        Hadoop框架自身是由Java语言编写，天生支持使用Java语言编写作业。在实际生产环境中也多使用其他语言如Python，此时需要借助Hadoop自带的一些工具。

        Hadoop运行在Linux环境中，想在本地安装Hadoop需要先安装Linux系统。为了节省学习成本我们需要使用虚拟机在本地电脑模拟多台硬件搭建集群。

       应该选择哪种语言进行作业？

      Java

      Hadoop本身由Java编写，对Java语言支持很好，但使用Java代码写起来非常繁琐冗长。

       Python

Python

        在大数据的实际生产中，使用Python进行作业开发也非常普遍。Python语法结构清晰、开发迅速、维护成本低是它的优势。

         假如使用Python进行作业开发，可借助Hadoop Streaming或者Pydoop。

         具体需要掌握哪些基础技能？

          Linux

         1、熟练使用linux常用命令及网络配置；

         2、熟悉用户以及权限管理操作；

         3、熟悉软件包以及系统命令管理；

         4、掌握shell编程。

          虚拟机

          1、虚拟机的安装；

          2、linux系统的安装；

          3、虚拟机网络的配置。

          对于java和python的选择上，大家根据自身情况或者目标企业使用的语言来选择。

        学习Hadoop首先要了解一下这3种搭建方式：单机模式、分布式模式和伪分布式模式，其中伪分布和完全分布要能够熟练掌握。之后再学习Hadoop生态圈中各个组件的知识，包括MapReduce、Yarn、hdfs、hive、HBase、Flume、sqoop、zookeepe、Mahout等。当你能完全掌握上述知识技能的时候，也就学会了Hadoop开发。

        那么学习就该有学习的态度，在学习Hadoop前你需要做到以下几个方面：

学习

       1.首先，不管你之前有没有接触过hadoop，或者你在某个方向特别牛逼，你都要有空杯心态，这才是学习的根据。

        2.你要有编程基础，比如Java，C，python，linux，不一定要在某个方向多么牛逼，有这些基础学起来就会很快上手。

        3.详细研究，现在大型网站包括Sina，腾讯网（门户），Weibo（微博），天猫，京东（电商）的架构与实现，先从自己的角度去理解，然后去跟实际情况做比对，提升自己对数据和技术的敏感程度。

       4.熟悉，理解，并运用Hadoop对于你以后在大型计算机公司任职非常重要（阿里，腾讯，百度内部的系统或多或少都是借鉴于Hadoop的）。

       5.科班的同学，在学校的以基础为根基，在公司的以业务为导向，这样的技术才不盲目，这样的技术才脚踏实地。

        6.不过，Hadoop说到底只是一项分布式系统的工具，学习的本质是：理解分布式系统设计中的原则以及方法，例如负载均衡，故障恢复，并发程序设计，并发数据结构，等等。理解这些设计原理，并走入底层读懂每一行Hadoop的源码更加的重要

        对很多人来说，技术都不是一生的职业导向，那么，提升自己的眼界，站在更高的角度思考问题就显得尤为重要，从自己，到团队，公司，再到整个业界，眼界宽广了，技术也就是你的左膀右臂。hadoop只是云计算的一隅，任何东西学的深入了都会发生质变。

       最后，如果想有一群“臭味相投”的朋友来一起交流学习的话，欢迎大家搜索群号：460570824，让我们共同进步！