在 kali linux 下搭建 hadoop 伪分布式系统
记录在 kali linux 下搭建 hadoop 伪分布式的过程：
1. 安装和设置 JDK：
1） kali 中默认已经安装 Java，可以使用 java -version 检查 Java的安装情况；发现 java 的安装文件名可能是 openjdk
2） 可以设置 java 的 JAVA_HOME, PATH, CLASSPATH:
2.1 ) 使用 find / -iname "*openjdk*", 查找 JDK 的安装位置； 发现 /usr/lib/jvm下有几个 符合 openjdk 的文件；
2.2） 通过使用 ls -l 查看详情，发现 3个文件中，2个是链接文件，只有1个文件是真实的 Jdk 安装目录；
2.3 ) 进入openjdk目录，果然发现熟悉的 bin，dt.jar 等文件，正是 jdk 的安装目录；
2.4 ) 可以在以下位置设置 环境变量： /etc/profile, or , ~/.bashrc 文件中；设置语句如下：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2. 安装 SSH：
1） 先检查 SSH 的安装情况： ps -e | grep ssh, 默认情况下 kali 只安装了 ssh - client， 没有 ssh - server
2 ) 使用 apt-get install openssh-server 安装 ssh 服务器
安装过程中，发现 163 的源部分组件没有，安装失败，于是切换 搜狐的源：搜狐源地址网上能找到，编辑下列文件：
/etc/apt/sours.list 文件，删除 163 源，改成 搜狐源，然后 ssh 安装成功
3） 安装完成后，使用 ps -e | grep ssh, 发现没有 sshd 服务，ssh服务器没有成功启动
4） 转到目录： /etc/init.d, 其中 发现 ssh 已经安装
5） 使用命令： service ssh start 启动服务
6） 再次使用 ps -e | grep ssh, 发现 sshd 服务已经正常启动
7） 根据 hadoop 要求， ssh的通信需要取消ssh密码，通过下列语句实现：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
8） 使用 ssh localhost 命令，发现 已经成功连接， 同时没有提示需要密码，ssh 成功安装
3. 安装 hadoop：
1） 下载，然后选择目录安装： tar -xzvf hadoop-x.y.z.tar.gz
2） 在 hadoop 的安装目录下， 设置 etc/hadoop/hadoop-env.sh 文件中的 JAVA_HOME 路径：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
3） 在 /etc/profile 中设置 hadoop 环境变量
export HADOOP_HOME=/root/Codingtool/hadoop/hadoop-3.0.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4） 测试 hadoop 安装情况： hadoop version, 正常输出，初步安装成功
5） 设置 hadoop， 按照 伪分布式的方式设置：
设置配置文件：core-site.xml， hdfs-site.xml， mapred-site.xml， yarn-site.xml， 在安装目录下的 etc/hadoop 中；
6） 格式化 HDFS 文件系统：
hdfs namenode -format
4. 启动 Hadoop：
1） 在 Hadoop 的安装目录下，sbin/ 下，执行 ./start-all.sh
2） 执行结果提示 hadoop 系统中 root 用户未注册，每个启动的服务都是类似的问题，于是按照 百度的资料更改设置文件：
》在 hadoop 安装目录，修改: sbin/start-dfs.sh, sbin/stop-dfs.sh:
在 start-dfs.sh 文件中， # Start hadoop dfs daemons. 注释前加上：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
在 stop-dfs.sh 文件中做类似修改；
》在 hadoop 安装目录，修改: sbin/start-yarn.sh, sbin/stop-yarn.sh:
在 yarn-dfs.sh 文件中， # ## @description usage info. 注释前加上：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
在 stop-yarn.sh 文件中做类似修改；
3） 再次执行 ./start-all.sh ：
namenodes, datanodes, secondary namenodes, resourcemanager, nodemanagers 都成功启动