部署Hadoop及虚拟机总结

这是看泰迪云课堂视频进行部署的。
我在部署时出现的问题
一、虚拟机：
安装VMware时出现slave3节点出现内存不够的现象，是否可以先预期算出内存大小然后分配master和3个slave的内存大小？
二、文件配置
第一个问题
在SSH工具上配置文件时，配置***mapred-site.xml***文件时在

这个是错误的，因为感叹号之后多了一个空格

应该将感叹号之后的空格去掉，改为：

第二个问题
文件配置：以下是一部分文件的配置内容。

一、hdfs-site.xml


        dfs.namenode.name.dir
        file:///data/hadoop/hdfs/name


        dfs.datanode.data.dir
        file:///data/hadoop/hdfs/data


        dfs.namenode.secondary.http-address
        master1:50090


        dfs.replication
        3

二、mapre-site.xml


        mapreduce.framework.name
        yarn



        mapreduce.jobhistory.address
        master1:10020


        mapreduce.jobhistory.webapp.address
        master1:19888

三、yarn-site.xml



        yarn.resourcemanager.hostname
        master1


        yarn.resourcemanager.address
        ${
     yarn.resourcemanager.hostname}:8032


        yarn.resourcemanager.scheduler.address
        ${
     yarn.resourcemanager.hostname}:8030


        yarn.resourcemanager.webapp.address
        ${
     yarn.resourcemanager.hostname}:8088


        yarn.resourcemanager.webapp.https.address
        ${
     yarn.resourcemanager.hostname}:8090


        yarn.resourcemanager.resource-tracker.address
        ${
     yarn.resourcemanager.hostname}:8031


        yarn.resourcemanager.admin.address
        ${
     yarn.resourcemanager.hostname}:8033


        yarn.nodemanager.local-dirs
        /data/hadoop/yarn/local


        yarn.log-aggregation-enable
        true


        yarn.nodemanager.remote-app-log-dir
        /data/tmp/logs


        yarn.log.server.url
        http://master1:19888/jobhistory/logs/
        URL for job history server


        yarn.nodemanager.vmem-check-enabled
        false


        yarn.nodemanager.aux-services
        mapreduce_shuffle


        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler


        yarn.nodemanager.resource.memory-mb
        2048


        yarn.scheduler.minimum-allocation-mb
        512


        yarn.scheduler.maximum-allocation-mb
        4096


        mapreduce.map.memory.mb
        2048


        mapreduce.reduce.memory.mb
        master1


        yarn.nodemanager.resource.cpu-vcores
        1

3、在虚拟机时的名字我命名为Maser,而我将放置Maser虚拟机的文件夹命名为了Master,导致我在SSH上配置文件时不知道是该写成Maser还是Master,所以不仅要分清文件夹和虚拟机名字还需要仔细谨慎点。

由于多次格式化

出现错误：

使用jps命令时没有出现namenode
``
解决方法：查看日志
在master节点上，使用命令

# cd /usr/local/hadoop-2.6.4/tmp/dfs/
ls
cd  logs


# cd /usr/local/hadoop-2.6.4/etc/hadoop/

# cd ///data/hadoop/hdfs/name

CID-5313cd04-3444-4282-86b5-9a42e388fc6e


![](https://img-blog.csdnimg.cn/20200311205120844.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODMxODk4,size_16,color_FFFFFF,t_70)