大数据——分布式部署

之前学期的大数据内容都是在伪分布式下完成的，若想了解伪分布式，可以找前几天的内容，今天主要是针对与分布式部署。

安装方式

    在Linux上手动将配置好的Hadoop分发给其他机器。不使用工具。

   

    Linux环境的配置：

                            ip（几台虚拟机都在一个网段中）

                            主机名（主机名最好一样，后面跟个数字）

                            本地映射，DNS，防火墙，selinux（/etc/selinux/config）

   

    扩展：Hadoop启动的过程方式：

                            之前的启动都是一个一个启动： sbin/hadoop-daemon.sh start XX

                            现在分别启动hdfs和yarn：       sbin/start-dfs.sh————sbin/start-yarn.sh

                            一次性启动所有：                     sbin/start-all.sh

    

ssh免密钥登入

                            我们开的几台虚拟机之间互相可以登入，但是登入时需要输入密码，互相操作时也需要密码，所以我们首先                                 设置一个面密钥登入，使不同虚拟机之间可以直接访问。

                            

                            如何登入其他虚拟机？

                                    ssh XXX（要登入的虚拟机hostname）

                            查看ssh命令：/home/huadian/.ssh

                            

                            设置免密钥登入有两步：

                                    第一步：为每台机器生产自己的公私钥

                                                    ssh-keygen -t rsa

                                    第二步：把公私钥分发给每台机器，包括自己

                                                    ssh-copy-id XXX（分发的虚拟机hostname）

                                    第三步：测试（使用ssh登入到其他机器，包括自己）

NTP时间同步

                            同步方式：同步的方式很多，但是我用的是一种比较通俗易懂的方法。

                                            若有A,B,C三台虚拟机同步，这里选择A与外网进行同步，B,C则与A同步。

                                配置A：sudo vi /etc/ntp.conf

                                            删除：

                                                    restrict default kod nomodify notrap nopeer noquery
                                                    restrict -6 default kod nomodify notrap nopeer noquery
                                                    restrict 127.0.0.1
                                                    restrict -6 ::1
                                                    server 0.centos.pool.ntp.org
                                                    server 1.centos.pool.ntp.org
                                                    server 2.centos.pool.ntp.org

                                            添加：可以直接添加，也可从下面的注释中修改

                                                    A可以跟谁同步：server 202.112.10.36（北京教育网IP）

                                                    允许谁可以跟A同步：restrict 192.168.59.0 mask 255.255.255.0 nomodify notrap

                                                    配置本地同步：

                                                                        server 127.127.1.0
                                                                        fudge 127.127.1.0 stratnum 10

                                            

                                            启动ntp服务：sudo service ntpd start

                                            

                                配置B,C跟A同步：sudo vi /etc/ntp.conf

                                            删除：同A删除

                                            

                                            添加：跟A同步：server 192.168.59.162

                                            

                                            开启ntp服务：sudo service ntpd start

                                            

                                            手动同步：sudo ntpdate 192.168.xx.xx

                                            

                                查看当前主机跟谁同步：ntpq -p

                                偷懒方式（这种同步时间不是特别精确）：sudo date -s "2018-XX-XX XX:XX:XX"

安装部署Hadoop

                                节点分布情况：

                                                hostname01    datanode    nodemanager    namenode(工作)

                                                hostname02    datanode    nodemanager

                                                hostname03    datanode    nodemanager    resourceManager(工作)

                                

                                安装jdk：关于JDK的安装这里不详细说了，6.10还是6.8有详细介绍。这里介绍个命令。

                                                两个虚拟机之间的上传： scp    -r      jdk_xx_xx/    用户名@hostname:目录

                                                两个虚拟机之间的下载：scp    -r     用户名@ hostname: 目录     jdk_xx_xx/

                                

                                Hadoop：

                                                上传解压，修改配置文件：

                                                            1 -env.sh 环境变量

                                                            2 -site.xml:配置用户自定义需求

                                                                    core-site：hdfs的入口，临时存储目录

                                                                    hdfs-site：文件副本

                                                                    mapred-site：mapreduce程序将运行在Yarn上

                                                                    yarn-site：resourceManager入口，告知yarn ，mapreduce程序将在你这里运行

                                

                                分发（一定要分发）：

                                                scp    -r    hadoop-2.7.3/     用户名@hostname:目录

                                

                                启动测试：

                                                hostname01格式化（namenode在哪个节点，就格式化哪个节点）

                                                开启节点：可以一个一个去开启，也能一次性开启，建议测试就一个一个开启。