Hadoop——快速入门

大数据不得不提到最有用的利器Hadoop，本文最快的方式让你上手Hadoop，hadoop快速入门，并且有一个感性的认识，也可以当做步骤的快速索引，本文解决以下问题：

• 理解Hadoop是什么
• Hadoop用于做什么以及怎么用
• Hadoop使用整体的一个基本流程和结构

理解Hadoop是什么

1. HADOOP是apache旗下的一套开源软件平台

2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理

3. HADOOP的核心组件有

   • HDFS（分布式文件系统）
   • YARN（运算资源调度系统）
   • MAPREDUCE（分布式运算编程框架）
   • 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

4. 为什么会有Hadoop呢？

   1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
   2. 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
      • 分布式文件系统（GFS），可用于处理海量网页的存储
      • 分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
   3. Nutch的开发人员完成了相应的开源实现HDFS 和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。

Hadoop用于做什么以及怎么用

Hadoop用于做什么

1. 云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户。
2. 现阶段，云计算的两大底层支撑技术为“虚拟化”和“大数据技术”
3. 而HADOOP则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算本身。

Hadoop怎么用

1. 上面提过其实HADOOP是一个很大的生态圈，既然是生态圈就有很多重要的组件：

   • HDFS：分布式文件系统
   • MAPREDUCE：分布式运算程序开发框架
   • HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具
   • HBASE：基于HADOOP的分布式海量数据库
   • ZOOKEEPER：分布式协调服务基础组件
   • Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
   • Oozie：工作流调度框架
   • Sqoop：数据导入导出工具
   • Flume：日志数据采集框架
     （上述的使用方法以后会慢慢补上去，挖个坑）

2. Hadoop的集群搭建

   说道Hadoop的集群搭建，就是将所需要的核心组件搭建起来，Hadoop集群包含两个重要集群：HDFS集群和YARN集群

   • HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode / DataNode

   • YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

   注意：那mapreduce是什么呢？它其实是一个应用程序开发包，主要负责业务逻辑开发。

本集群搭建案例，以5节点为例进行搭建，角色分配如下：

 

 > hdp-node-01    NameNode SecondaryNameNode(HDFS)
 >
 > hdp-node-02    ResourceManager (YARN)
 >
 > hdp-node-03    DataNode    NodeManager   (HDFS)
 >
 > hdp-node-04    DataNode    NodeManager   (HDFS)
 >
 > hdp-node-05    DataNode    NodeManage    r(HDFS)

部署图如下：

 

集群搭建案例

因为模拟可以使用模拟器，模拟五台linux服务器，细节忽略。
Hadoop 安装部署，保证每台的linux均有Hadoop的安装包：

• 规划安装目录: /home/hadoop/apps/hadoop-2.6.1

• 修改基本配置Haddop文件: $HADOOP_HOME/etc/hadoop/
  相应的Hadoop最简配置如下:

  • Hadoop-env.sh

    # The java implementation to use.
    export JAVA_HOME=/home/hadoop/apps/jdk1.8
    

  • core-site.xml

    
     
         fs.defaultFS
         hdfs://hdp-node-01:9000
     
     
         hadoop.tmp.dir
         /home/HADOOP/apps/hadoop-2.6.1/tmp
     
    
    

  • hdfs-site.xml

    
     
         dfs.namenode.name.dir
         /home/hadoop/data/name
     
     
         dfs.datanode.data.dir
         /home/hadoop/data/data
     
    
     
         dfs.replication
         3
     
    
     
         dfs.secondary.http.address
         hdp-node-01:50090
     
    
    

  • mapred-site.xml

    
     
         mapreduce.framework.name
         yarn
     
    
    

  • yarn-site.xml

    
     
         yarn.resourcemanager.hostname
         hadoop01
     
    
     
         yarn.nodemanager.aux-services
         mapreduce_shuffle
     
    
    

  注意:五台linux配置应该相同，这里使用的hadoop2.6.1根据自己用的来修改

启动集群

在终端中执行：

 

#初始化HDFS
bin/hadoop  namenode  -format

#启动HDFS
bin/start-dfs.sh

#启动YARN
bin/start-yarn.sh

测试

1、上传文件到HDFS

从本地上传一个文本文件到hdfs的/wordcount/input目录下

终端代码：

 

[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input
[HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt  /wordcount/input

​

2、运行一个mapreduce程序

在HADOOP安装目录下，运行一个示例mr程序:

 

cd $HADOOP_HOME/share/hadoop/mapreduce/
hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input  /wordcount/output 

注意：example是hadoop自带的程序用于测试是否搭建成功

Hadoop的数据处理流程

典型的BI系统流程图如下：

 

BI系统流程图

如图所示，虽然所用技术也许会有不同，但是流程基本如图所示：

1. 数据采集：定制开发采集程序，或使用开源框架FLUME

2. 数据预处理：定制开发mapreduce程序运行于hadoop集群

3. 数据仓库技术：基于hadoop之上的Hive

4. 数据导出：基于hadoop的sqoop数据导入导出工具

5. 数据可视化：定制开发web程序或使用kettle等产品

6. 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品

作者：慕久久
链接：https://www.jianshu.com/p/94844ec599bf
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。