hadoop集群配置（一，单点配置）

参考书籍：Hadoop+Speak大数据巨量分析与机器学习整合开发实战。林大贵。不错  单点 集群  机器学习都可以。

走一遍hadoop集群配置

在一台节点上建立新用户Hadoop     

useradd Hadoop  

添加密码  passwd  hadoop 

更新包：wh@vm0-ubuntu:~$ sudo apt update

安装JDK:wh@vm0-ubuntu:~$ sudo apt install default-jre

搞定。

安装SSH   sudo apt install ssh   sudo apt install rsync

生成密钥文件wh@vm0-ubuntu:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

wh@vm0-ubuntu:~/.ssh$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

下载Hadoop。

解压，sudo tar -zxvf  hadoop-xxxxxxxll

移动到usr/local/hadoop

设置hadoop环境变量

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

生效：wh@vm0-ubuntu:/usr/local/hadoop$ source ~/.bashrc

修改Hadoop配置设置文件，包括 hadoop-env.sh  core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/had                  

 sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

其中 chown是把目录的拥有者改为hdusr，照着书上写的有错，usr是不是hadoop，不清楚，先不管。所有人都可以用

然后：

hadoop namenode -format 将HDFS格式化

start-all.sh    就可以用了 但是现在只是单个节点    而且用jps查看的时候居然没有nodemanager和namenode启动，今天又检查了一遍，第一个是因为有些信息打错了，另外一各不知道怎么的就好了....玄学。