hadoop3.1单机节点

单节点hadoop3安装。
1，安装jdk
tar -zxf jdk1.8.0_144.tar.gz 
sudo ln -s /opt/package/jdk1.8.0_144/ /usr/java/latest

2,ssh免密码登录
ssh-keygen -t rsa
ssh-copy-id vb-7
3,安装hadoop
tar -zxf hadoop-3.1.0.tar.gz 
rm -f bin/*.cmd（强迫症)
rm -f sbin/*.cmd
rm -f etc/hadoop/*.cmd
 

环境变量：
# jdk
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
# hadoop
export HADOOP_HOME=/opt/package/hadoop-3.1.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

vi etc/hadoop/hadoop-env.sh 
export JAVA_HOME=/usr/java/latest
4,配置文件。
core-site.xml

   
        fs.defaultFS
        hdfs://vb-7:9000
   
   
        hadoop.tmp.dir
        /opt/package/data/hadoop
   

hdfs-site.xml

   
        dfs.replication
        1
   



mapred-site.xml

   
        mapreduce.framework.name
        yarn
   



yarn-site.xml


        yarn.nodemanager.aux-services
        mapreduce_shuffle
   










格式化namenode
hdfs namenode -format
启动dfs
start-dfs.sh
hdfs dfs -mkdir -p /user/dota/input
hdfs dfs -put etc/hadoop/*.xml input


启动yarn
start-yarn.sh
执行example
按照官方的配置，执行这两个example报异常。
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar grep input output 'dfs[a-z.]+'   
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /user/dota/input/* output




异常：默认container是使用所有能获取的内存。


mapreduce.map.memory.mb 默认配置是-1


mapred-site.xml中配置限制container使用的内存。

　　mapreduce.map.memory.mb
　　512


　　mapreduce.map.java.opts
　　-Xmx512M


　　mapreduce.reduce.memory.mb
　　512


　　mapreduce.reduce.java.opts
　　-Xmx512M



参考：
https://www.cnblogs.com/scw2901/p/4331682.html