大数据技术学习笔记之Hadoop框架基础1-Hadoop介绍及伪分布式部署

一、学习建议
    -》学习思想
        -》设计思想：分布式
            -》数据采集
            -》数据存储
            -》数据计算
            -》数据可视化
    -》学习阶段
        -》了解功能简单使用                            -》java、java变量
        -》安装部署配置环境                            -》开发
        -》熟练的使用，了解基本原理                -》java集合、线程、java web
        -》深入了解架构、设计思想、性能调优    -》堆、栈、JVM，内存优化，架构设计
    -》方法：
        -》掌握hadoop设计思想
        -》安装部署、简单使用：大部分框架都是类似
        -》熟练使用：多练习
        -》积累经验：记录所有的出错
        -》多练习、多总结、理解架构
    -》收集报错
        -》出现问题
            -》分析日志
                warning：一般错误很少
                error：
                    classnotfound
                        -》名称
                        -》检查环境变量
            -》百度
            -》沟通解决
        -》更加理解原理和架构
        
        
        
二、大数据
    -》核心：用大数据处理工具对数据进行分析处理，得到价值
    -》特点：
        -》数据量大的
        -》数据量增长快
        -》多样的
        -》价值密度低的
        -》真实的
    -》hadoop诞生：hadoop1.x
        -》HDFS：hadoop distribute file system ，分布式文件系统
        -》MapReduce：分布式计算模型
        
        
        
        
三、Hadoop的介绍
    -》hadoop是干嘛的？
        -》大数据存储及处理工具
    -》hadoop的组件及其功能？
        -》hadoop1.x
            -》hdfs
            -》MapReduce
        -》hadoop2.x
            -》HDFS：分布式文件存储系统
            -》MapReduce v2 ： 分布式计算模型
            -》YARN：分布式资源管理系统，负责任务调度和集群资源管理
                -》计算机资源：CPU、内存、磁盘、网络
        -》hadoop3.x
    -》分布式集群
        -》单机：一台机器，物理资源有限
        -》分布式：多台机器，物理资源可以动态扩展
    -》hadoop处理数据的过程
        -》将数据存入hdfs
        -》开发MapReduce程序
            -》从hdfs中读取数据
            -》处理数据
            -》将处理后的结果写入hdfs
        -》将开发好的程序打包成jar包
        -》将jar包提交给yarn
            -》yarn接收任务执行请求
            -》yarn为该任务分配资源
            -》执行MapReduce程序
                -》input
                -》map task
                -》reduce task
                -》output
                
    -》HDFS：hadoop distribute file system，分布式文件系统
        -》与传统文件系统相比，有什么特点？
            -》分布式：解决大数据存储问题
            -》分片机制：将一个文件按照大小自动拆分成多个文件
                    默认大小：128M/个  1G=8个block 1000M=8个block
            -》副本机制：对每个块做备份，默认每个块有3份
                机器1        block1-1    block2-3
                机器2        block1-2     block2-2
                机器3        block2-1    block1-3
                
                文件：250M    ->   block1:128M  block2:122M  
        -》如何自动的实现文件的切分、文件的合并
            -》NameNode：老大，整个hdfs集群中的老大，负责管理
                -》负责接收所有用户的请求
                    -》读
                    -》写：负责维护元数据（保存文件的信息：文件的块、存储位置）
                        -》用户向NameNode发送写的请求
                        -》NameNode返回文件写入的地址
                        -》用户将数据提交给DataNode
                        -》DataNode将数据写入，并且创建副本
                        -》写入成功后将结果反馈给NameNode
            -》DataNode：小弟，整个hdfs集群中可以有很多小弟，负责存储
            
    -》YARN：分布式任务调度和资源管理工具
        -》yarn接收用户提交的任务请求：jar
            -》ResourceManager：老大，负责管理，接收用户的请求
                -》负责资源管理和任务调度
            -》NodeManager：小弟，负责计算
        -》执行MapReduce程序
            -》RM接收到用户的请求
            -》RM会随机选择一台NM作为该任务的分配节点
            -》NM向RM申请资源，RM会分配一定的资源打包给NM
            -》NM会在其他的NM，启动多个map和reduce task任务
            -》负责的NM会收集执行的结果，汇报给RM
    
    -》MapReduce：分布式计算模型
        -》input：负责数据的输入，默认是hdfs
        -》map：将一个大的任务分解成多个小的任务交给每台机器去执行
        -》shuffle：溢写、分区、排序、分组~~~~~~~~~~~~
        -》reduce：将所有map的结果进行合并
        -》output：输出，默认是hdfs
        
        
四、Hadoop的安装部署
    -》hadoop版本
        -》Apache：发布更新都比较快
        -》Cloudera：最稳定，修复了bug、兼容性
        -》Hortonworks
        -》mapr
    -》Apache：
        -》hadoop版本：
            -》2.5.x-2.7.x
    -》hadoop模式
        -》本地模式：一般用于测试程序运行
            -》默认读本地文件系统
            -》只有task程序运行在jvm中
        -》伪分布式：单节点的分布式，所有的进程都在一台机器上
            -》老大和小弟都在一台机器上
        -》完全分布式：工作企业环境
            -》老大一般有一台
            -》小弟有很多台
    -》搭建伪分布式环境
        -》Linux环境
            -》网络：固定ip地址、DNS、网络能通外网、本地域名解析（每台机器的文件中包含所有机器的地址和主机名）
            -》关闭防火墙和selinux
                service iptables stop
                chkconfig iptables off
                
                vim /etc/selinux/config
                SELINUX=disabled
            -》普通用户：专门负责管理大数据应用：rdedu
                修改连接为rdedu自动连接
            -》ntp时间同步（完全分布式）
            -》ssh免密钥登录（完全分布式）
            -》创建大数据相关的文件夹
                sudo mkdir /opt/tools
                sudo mkdir /opt/modules   
                sudo mkdir /opt/datas
                sudo chown -R rdedu:rdedu /opt/datas
                sudo chown -R rdedu:rdedu /opt/modules/
                sudo chown -R rdedu:rdedu /opt/tools/
                
            -》安装jdk
                -》检查自带jdk是否已经卸载
                    rpm -qa | grep java
                -》解压
                    tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/modules/
                -》配置环境变量
                    -》全局环境变量：sudo vim /etc/profile
                        export JAVA_HOME=/opt/modules/jdk1.8.0_91
                        export PATH=$PATH:$JAVA_HOME/bin
                    -》重新加载配置文件
                        source /etc/profile
                    -》检测
                        java -version
            -》安装hadoop
                -》下载解压：http://archive.apache.org/dist/
                    tar -zxvf /opt/tools/hadoop-2.7.3.tar.gz -C /opt/modules/
                -》目录结构
                    bin：命令
                     etc/conf/config/：配置文件
                    lib：依赖jar包
                    data/tmp：临时数据存储目录
                    logs：日志文件目录
                    sbin：启动脚本，管理类的命令
                -》修改配置文件
                    -》修改env文件：用于配置环境变量
                        hadoop-env.sh    
                        mapred-env.sh
                        yarn-env.sh
                        export JAVA_HOME=/opt/modules/jdk1.8.0_91
                    -》修改xml文件：
                        core-site.xml              hadoop网络、hdfs入口等配置
                        -》配置hdfs的入口
                        -》配置hadoop的临时存储目录记得修改权限为rdedu
                            mkdir datas
                            
                            /opt/modules/hadoop-2.7.3/datas
                            
                            
                            
                                fs.defaultFS
                                hdfs://bigdata-training01.erongda.com:8020
                            
                            
                            
                            
                                hadoop.tmp.dir
                                /opt/modules/hadoop-2.7.3/datas
                            
                            
                        
                        
                        
                        hdfs-site.xml              hdfs相关的配置
                            
                            
                                dfs.replication
                                1
                            
                            
                        slaves                配置从节点（小弟）
                            nodemanager与DataNode都在同一台机器
                            
                        
                        mapred-site.xml            MapReduce相关的配置
                        yarn-site.xml            YARN相关配置
                        
                -》格式化文件系统
                    bin/hdfs namenode -format
                -》启动hdfs
                    -》启动老大：NameNode
                        sbin/hadoop-daemon.sh start namenode
                    -》启动小弟：DataNode
                        sbin/hadoop-daemon.sh start datanode
                -》测试查看
                    -》查看网页端口
                        192.168.134.188:50070
                    -》测试
                        bin/hdfs dfs -mkdir -p /test01
                        bin/hdfs dfs -put /opt/datas/wordcount.txt /test01/
                        bin/hdfs dfs -get /test01/wordcount.txt /home/rdedu/
                        bin/hdfs dfs -cat /test01/wordcount.txt
                        bin/hdfs dfs -ls /
                        bin/hdfs dfs -rm -r /test01
        
            -》配置yarn和mapreduce
                -》配置MapReduce：mapred-site.xml
                    mv mapred-site.xml.template mapred-site.xml
                        
                        
                            mapreduce.framework.name
                            yarn
                        
                -》配置yarn：yarn-site.xml
                        
                        
                            yarn.resourcemanager.hostname
                            bigdata-training01.erongda.com
                        
                        
                        
                            yarn.nodemanager.aux-services
                            mapreduce_shuffle
                        
                -》启动yarn
                    -》启动
                        sbin/yarn-daemon.sh start resourcemanager
                        sbin/yarn-daemon.sh start nodemanager
                -》测试运行
                    -》网页端口：
                        192.168.134.188:8088
                    -》提交运行MapReduce程序
                        wordcount程序：
                         bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test01/wordcount.txt /wc-out/wc-out1
                    
        -》NameNode原理：管理元数据（内存）
            -》第一次使用NameNode之前需要格式化
                -》初始化元数据
                -》初始化数据目录：hadoop.tmp.dir
            -》启动时：
                -》将本地元数据文件fsimage加载到内存中
                -》启动DataNode，DataNode会向NameNode注册
                -》DataNode注册成功，向老大汇报自己的block信息
                -》客户端对hdfs进行读写
                -》secondery NameNode 会根据条件将hdfs的修改日志edits与fsimage合并，生成新的faimage保存到本地
                
五、常见的HDFS配置
    -》secondery NameNode
        dfs.namenode.secondary.http-address
    -》数据存储目录
        -》元数据目录
            dfs.namenode.name.dir
        -》数据文件目录
            dfs.datanode.data.dir
    -》hdfs地址：fs.defaultFS
    -》副本数：dfs.replication
    -》块大小：dfs.blocksize
    -》访问权限：dfs.permissions.enabled
            
            
                dfs.permissions.enabled
                false
            
            
    -》一旦修改了配置文件，只有重启集群才会生效
        -》core-site
            -》重启hdfs，yarn
        -》hdfs-site
            -》重启hdfs
        -》mapred-site/yarn-site
            -》重启yarn