hadoop初体验

今日课程内容大纲
    01) hadoop的简介
    02) hadoop集群的搭建
        发行版本
        集群规划
        hadoop源码编译(了解)
        hadoop集群搭建
    03) hadoop集群启动与初体验
    04) MapReduce的历史记录
    05) HDFS的垃圾桶机制
01--Apache Hadoop--介绍和发展历程
    01) hadoop的介绍
        00) hadoop1.x和hadoop2.x的区别:  yarn(资源管理)  解决了单点故障问题   提高资源的利用率
        01) 狭义解释:特指Apache的一款java语言开发的开源软件,由一下三部分组成:
            HDFS: 解决海量数据存储的hadoop分布式文件系统
            MapReduce: 解决海量数据分布式计算问题
            YARN: 解决分布式架构中资源管理和任务调度
        02) 广义解释:整个基于hadoop的生态系统,包括大数据处理流程中的各个阶段的软件
            hive hbase zookeeper oozie sqoop flume impala storm spark flink kylin......
    02) hadoop发展历史
        01) hadoop的创始人doug cutting   lucene(海量数据搜索) -----> nutch (海量数据抓取)-----> 海量数据存储和海量数据计算问题?
            参考: https://www.linkedin.com/in/cutting
        02) 2003年Google发表第一篇论文: GFS(Google分布式文件系统) 解决海量数据存储
        03) 2004年Google发表第二篇论文: Google的MapReduce 解决海量数据计算
        04) 同一时期,doug cutting 基于Google的两篇论文开发出: HDFS(hadoop的分布式文件系统)  MapReduce(基于hadoop的分布式计算平台),成为Apache顶级项目
        05) 2006年Google发表第三篇论文: BigTable ,开源界根据论文开发了HBase(基于hadoop平台的分布式数据库)
            参考:资料中Google三篇论文
    03) hadoop的特性
        01) 扩容能力
        02) 成本低
        03) 高效率
        04) 高可靠
02--Apache Hadoop--应用
    01) hadoop精准区分: 做什么(业务)   怎么做(技术)
    02) hadoop提供了大数据存储能力 分布式计算能力  不和具体的行业挂钩  有大量数据的行业都在用hadoop
    03) 行业应用:
        广告系统,基于用户行为分析的推荐系统,个人征信分析,股票量化交易,智慧交通,智慧城市等等应用

03--Apache Hadoop--集群部署安装--发行版本介绍
    01) hadoop社区版: Apache官方维护的版本
        01) 优点: 功能最新 免费
        02) 缺点: 稳定性差 兼容性差
        03) 下载地址:
            官网下载页面:https://hadoop.apache.org/releases.html
            软件下载页面:https://archive.apache.org/dist/hadoop/common/
            hadoop2.6.0软件下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/
    02) hadoop商业版: 一些商业公司在社区版的基础上进行商业开发, 保持架构 api 配置文件等不变,仅仅解决bug及软件兼容性问题
        01) 优点: 稳定性好 软件兼容性好
        02) 缺点: 收费 暂时不能使用最新的hadoop版本
        03) 下载地址:http://archive.cloudera.com/cdh5/cdh/5/        搜索引擎搜索: cdh archive
            官网下载页面:http://archive.cloudera.com/cdh5/cdh/5/    搜索hadoop-2.6.0-cdh5.14.0.tar.gz
    03) hadoop自身版本的发展
        01) 历经1.x 2.x 3.x
        02) 1.x退出历史舞台, 企业主流版本2.5-2.8的版本(稳定性软件兼容性最好), 3.x使用不多(软件间的兼容性还未升级完毕)
04--Apache Hadoop--集群部署安装--集群角色介绍&部署模式
    01) 两个集群: HDFS集群和yarn集群   逻辑上分离,物理上在一起
        01) HDFS集群(主从架构):
            主角色: NameNode(nn)
            从角色: DataNode(dn)
            主角色的辅助角色(秘书角色): secondaryNameNode(snn)
        02) yarn集群(主从架构):
            主角色: ResourceManager(rm)
            从角色: NodeManager(nm)
        03) MapReduce是需要开发的程序组件:
            Map组件:
            Reduce组件:
    02) 部署模式:
        01) standalone(单机)模式:
            一台机器,没有HDFS, 只能测试MapReduce程序(一个进程),处理本地linux系统的文件
        02) 伪集群模式:
            一台机器上模拟一个分布式环境,具备hadoop的主要功能,用于学习调试
        03) 分布式集群模式:
            hadoop集群的多个进程运行在多台服务器上,用于生产环境
        04) 高可用(HA high availability)集群模式:
            主要解决单点故障 保证集群的高可用,提高可靠性
        我们今天的部署模式:  分布式集群模式
05--Apache Hadoop--集群部署安装--服务器环境准备
    01) 准备三台服务器
        1   vmware虚拟机
        2   静态ip
        3   主机名称
        4   ip与主机映射
        5   关闭防火墙: iptables 和 selinux
        6   ssh免密登录
        7   时间同步
        8   jdk环境 配置JAVA_HOME环境变量
06--Apache Hadoop--集群部署安装--了解源码编译的含义
    01) 为什么要编译hadoop的源码?
        01) Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries) 的概念.
            说白了,就是Hadoop的某些功能,必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作.


        02) linux系统要运行Native 代码,首先要将Native 编译成目标CPU 架构的[.so]文件.
            而不同的处理器架构,需要编译出相应平台的动态库[.so] 文件,
            才能被正确的执行,所以最好重新编译一次hadoop源码,让[.so]文件与自己处理器相对应.
                注意: windows平台是动态库[.dll]文件

        总结: 主要是要重新编译本地库(Native Libraries) 代码(Linux下对应[.so]文件，window下对应[.dlI]文件)，也就是编译生成linux下的[.so] 文件。
        当然如果自己修改了源码,也需要自己重新编译
    02) 编译环境准备
        01) 马上回来进行
            01) 安装jdk1.7
            02) 安装maven
            03) 参考详细笔记

07--Apache Hadoop--集群部署安装--集群规划
    01) 集群规划: 在我们准备的三台服务器上如何搭建hadoop集群
        原则:
            优先满足软件需要的硬件资源
            尽量避免有冲突的软件不要在一起
            有依赖的软件尽量部署在一起

    02) 规划安排:
        hadoop01: NameNode  DataNode                    | ResourceManager  NodeManager
        hadoop02:           DataNode  SecondaryNameNode | NodeManager
        hadoop03:           DataNode                    | NodeManager

    03) 未来扩展:
        hadoop04: DataNode  NodeManager
        hadoop05: DataNode  NodeManager
        hadoop06: DataNode  NodeManager
        ......
08--Apache Hadoop--集群部署安装--安装包目录结构
    01) 上传编译好的安装包到/export/software
        rz  hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz
    02) 解压安装包到/export/servers
        tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C /export/servers/
    03) hadoop的目录结构
        bin: Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现
        etc: hadoop配置文件目录
        include:对外提供的编程库头文件（具体动态库和静态库在lib目录中）
        lib: 该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用
        libexec: 各个服务对用到的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。
        sbin: hadoop集群启动关闭的脚本(单节点逐个启动  一键启动)
        share: Hadoop各个模块编译后的jar包所在的目录  官方案例jar包
09--Apache Hadoop--集群部署安装--配置文件详解--上
    01) hadoop-env.sh
        vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hadoop-env.sh
        export JAVA_HOME=/export/servers/jdk1.8.0_144
    02) xml配置文件(hdfs mapreduce yarn  common四个模块的配置)
        参考配置: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/
        01) core-site.xml
           
           
                fs.defaultFS
                hdfs://hadoop01:8020
           
           
           
                hadoop.tmp.dir
                /export/data/hadoopdata
           
        02) hdfs-site.xml
           
           
                dfs.replication
                2
           
           
           
                dfs.namenode.secondary.http-address
                hadoop02:50090
           
        03) mapred-site.xml
            改名:  mv mapred-site.xml.template mapred-site.xml
            vi mapred-site.xml

           
           
                mapreduce.framework.name
                yarn
           
        04) yarn-site.xml
           
           
                yarn.resourcemanager.hostname
                hadoop01
           

           
           
                yarn.nodemanager.aux-services
                mapreduce_shuffle
           

            大量的默认配置: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/

10--Apache Hadoop--集群部署安装--配置文件详解--下
    01) slaves文件
        01) 文件作用
            配合一键启动脚本,决定哪些服务器上启动从角色
            通过dfs.hosts 指定文件中的机器才能加入hadoop集群中
        02) 配置内容: 一行一个主机名
            vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/slaves

            hadoop01
            hadoop02
            hadoop03
    02) 将主节点上的hadoop的安装包分发到hadoop02 和 hadoop03
        cd  /export/servers/
        scp -r hadoop-2.6.0-cdh5.14.0/ root@hadoop02:/export/servers/
        scp -r hadoop-2.6.0-cdh5.14.0/ root@hadoop03:/export/servers/
    03) 配置hadoop的环境变量:
        vim /etc/profile 添加如下内容:
            export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
            export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
        将主节点上配好的/etc/profile文件 分发到hadoop02 和 hadoop03 上
            scp /etc/profile root@hadoop02:/etc/profile
            scp /etc/profile root@hadoop03:/etc/profile
        将三台的环境变量生效:(在三台上执行如下)
            source /etc/profile
        验证hadoop环境变量是否生效
            hadoop version
11--Apache Hadoop--集群部署安装--namenode format
    01) 为什么需要format?
        01) format主要创建hadoop运行依赖的一些文件和文件夹, 本质就是一些清理和准备工作
        02) 首次启动集群前,需要针对hdfs进行format操作
        03) format操作只需要进行一次(如果成功的话)
    02) namenode format操作(在namenode所在的机器上)
        hadoop namenode -format (过时的命令)
        hdfs namenode -format
        成功的标识:
        Storage directory /export/data/hadoopdata/dfs/name has been successfully formatted.
        可以查看初始化后的文件内容: cd /export/data/hadoopdata/dfs/name/current
    03) 不小心再次执行了format会如何? 怎么解决?
        会如何: 上一次初始化的集群会出现主从角色互相不识别的情况  之前集群的元数据全部丢失
        如何解决:将3台服务器上hadoop.tmp.dir指定的目录全部删除,重新format一次(相当于一个新的集群)
12--Apache Hadoop--集群两种启动方式
    01) 单节点逐个启动:
        01) 在主节点上使用以下命令启动HDFS NameNode
            hadoop-daemon.sh start namenode
        02) 在每个从节点上使用以下命令启动HDFS DataNode
            hadoop-daemon.sh start datanode
        03) 在主节点上使用以下命令启动YARN ResourceManager
            yarn-daemon.sh  start resourcemanager
        04) 在每个从节点上使用以下命令启动YARN nodemanager
            yarn-daemon.sh start nodemanager
        05) 在hadoop02上使用如下命令启动HDFS secondaryNameNode
            hadoop-daemon.sh start secondarynamenode
        说明: 以上脚本位于$HADOOP_PREFIX/sbin/目录下.如果想要停止某个节点上某个角色,只需要把命令中的start改为stop即可。
              好处: 可以精准的控制每台机器上每个进程的状态,便于排查单个服务器的异常问题
    02) 一键启动脚本:
        01) 前提:
            配置好ssh免密登录
            配置好slaves文件
        02) 启动hdfs集群:
            start-dfs.sh   stop-dfs.sh
        03) 启动yarn集群:
            stat-yarn.sh   stop-dfs.sh
        04) 一键启动两个集群:
            start-all.sh   stop-all.sh

13--Apache Hadoop--集群初体验--感受hadoop
    01) webUI界面
        01) namenode的界面: http://hadoop01:50070
            50070是webUI端口   之前配置的8020是rpc通信端口
            参考:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
        02) resourceManager的界面: http://hadoop01:8088
    02) 初体验:
        01) hdfs存储文件体验:
            显示帮助: hadoop fs
            创建目录:hadoop fs -mkdir  /test
            上传文件:hadoop fs -put 1.txt /test/
            下载文件:hadoop fs -get /test/1.txt ./
            体验:
                1 hdfs本质就是文件存储的
                2 结构上也是树形目录结构, 从/ 根目录开始
                3 有文件夹和文件
                4 操作起来比较慢? 为什么慢? 难道是因为分布式文件存储的原因?
        02) yarn体验,需要结合mr:
            01) 运行wordcount
                1   /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce
                2   hadoop fs -mkdir -p /wordcount/input
                3   vim wc.txt
                4   hadoop fs -put wc.txt /wordcount/input
                5   hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar wordcount /wordcount/input /wordcount/output
                6   hadoop fs -cat /wordcount/output/part-r-00000
            体验:
                mr程序本质上就是一个jar包(自己写的程序打成jar包)
                mr第一步先去找rm? 申请运行需要的资源吗?
                mr程序分成了两个阶段: map  和 reduce阶段
                mr输出的结果好像有序, 按照字典序进行升序排列(a-z,0-9)
            02) 圆周率计算
                hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 2 4
14--Apache Hadoop--job history服务的开启
    01) 为什么需要job history服务?
        重启yarn集群后,上次运行的mr程序的状态都丢失了,我们需要保存之前运行的mr程序信息(日志形式)
    02) 如何开启job history服务?
        01) 默认情况下没有开启此功能,需要在mapred-site.xml中配置并手动启动
        02) 关闭hdfs集群
            stop-dfs.sh
        03) 修改mapred-site.xml
            cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
            vim mapred-site.xml
               
               
                    mapreduce.jobhistory.address
                    hadoop01:10020
               
               
               
                    mapreduce.jobhistory.webapp.address
                    hadoop01:19888
               
        04) 把修改好的配置文件scp给其他机器
            scp mapred-site.xml  root@hadoop02:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/mapred-site.xml
            scp mapred-site.xml  root@hadoop03:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/mapred-site.xml
        05)启动hdfs集群:
            start-dfs.sh
        06) 单独启动/关闭historyserver服务(只需要在配置的指定机器上启动即可hadoop01)
            启动: mr-jobhistory-daemon.sh start historyserver
            关闭: mr-jobhistory-daemon.sh stop  historyserver
        07) 访问job history服务器
            http://hadoop01:19888

        注意: job history服务需要手动启动
15--Apache Hadoop--hdfs垃圾桶机制功能
    01) 为什么需要垃圾桶机制?
        误操作删除一些重要文件,可以进行恢复.
    02) 垃圾桶机制的配置
        默认误操作删除重要文件,无法恢复.
        01) vim core-site.xml
           
           
                fs.trash.interval
                1440
           
        02) 把配置文件scp给其他机器
            scp core-site.xml  root@hadoop02:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml
            scp core-site.xml  root@hadoop03:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml
        03) 重启hdfs集群:
            stop-dfs.sh
            start-dfs.sh
    03) 垃圾桶机制验证
        01) 删除文件: hadoop fs -rm /test/1.txt
        02) 开启垃圾桶机制后: 本质是把删除的文件移动到一个指定的文件夹中(每个用户在/user/root/.Trash下都有自己的垃圾目录)
        03) 如何恢复:
            重新移动回来: hadoop fs -mv /user/root/.Trash/Current/test/1.txt /test/
        04) 什么时候真正删除:  垃圾桶机制配置的时间到了(1天=1440分钟)
        05) 如何跳过垃圾桶直接永久删除: hadoop fs -rm -skipTrash /test/1.txt

今日课程总结
01) hadoop简介: 广义  狭义(hdfs  yarn  mapreduce)

02) hadoop发展历史   hadoop (业务  技术)  精准广告营销推荐    短视频推荐系统   个人征信

03) hadoop的发行版:  社区版    商业版

04) hadoop的角色介绍:  nn  dn   snn   rm  nm

05) hadoop集群安装:
        01) hadoop的源码编译:
        02) hadoop的目录结构:  bin  sbin  share   etc
        03) hadoop-env.sh  core-site.xml   hdfs-site.xml  mapred-site.xml  yarn-site.xml  slave
        04) 分发安装包
        05) 格式化  hadoop namenode -format   一次性的
        06) 单独启动     一键脚本:　
06) hadoop集群的体验:
        01) hdfs的体验: 存储海量数据的文件系统    管理文件    客户端(命令行  java  浏览器客户端)
        02) MapReduce的体验: jar包(mapper  reducer main)   海量数据分布式并集计算框架   wordcount  pi
07) job history服务的开启

08) 开启hadoop集群的垃圾回收机制

今天常见问题:
    01) datanode不被namenode识别问题
        Namenode在format初始化的时候会形成两个标识,blockPoolId和clusterId.新的datanode加入时,会获取这两个标识作为自己工作目录中的标识.
        一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别.
        解决办法,删除datanode节点中的数据后,再次重新格式化namenode.