Ubuntu下的Hadoop安装

二、Hadoop安装

采用版本为hadoop-2.7.7

 ①JDK的安装

2.1.1 创建文件夹

sudo mkdir /expt
sudo chmod 777 /expt

 这个出错我参考别的原因也改过来了,

pkexec chmod 0440 /etc/sudoers

Ubuntu下的Hadoop安装_第1张图片

Ubuntu下的Hadoop安装_第2张图片

 2.1.2 移动文件

 之前已经解压过了,所以改一下位置就行了

Ubuntu下的Hadoop安装_第3张图片

 2.1.3 创建软链接

ln -s /expt/jdk1.8.0_141 jdk

Ubuntu下的Hadoop安装_第4张图片

2.1.4配置JDK环境变量

vi ~/.bashrc(我还是不喜欢vi命令,直接进去/目录,然后点击.bashrc)

export JAVA_HOME=~/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib/dt.jar:$JAVA_HOME/lib/tools.jar:. 
export PATH=${JAVA_HOME}/bin:$PATH

 注意版本一定要填对,括号相当于延续路径

Ubuntu下的Hadoop安装_第5张图片

 重启配置文件

source ~/.bashrc

 

 检验是否安装成功

java –version

这就是成功了

②ssh免密登录设置

2.2.1 在4612190403主机生成密钥对

ssh-keygen -t rsa

连敲三个ender,这个我已经配置过了,

Ubuntu下的Hadoop安装_第6张图片

 查看ssh

ls ~/.ssh

 2.2.2 将主机公钥id_rsa.pub复制到4612190403主机上

ssh-copy-id -i  ~/.ssh/id_rsa.pub 4612190403

Ubuntu下的Hadoop安装_第7张图片

 2.2.3 验证免密登录

ssh 4612190403

Ubuntu下的Hadoop安装_第8张图片

 2.2.4在输入ps -e|grep ssh  检验是否启动

 ps -e|grep ssh  

Ubuntu下的Hadoop安装_第9张图片

修改/etc/ssh/sshd_config下的端口号(Port)后,重启SSH服务即可生效

Ubuntu下的Hadoop安装_第10张图片

重启ssh

sudo /etc/init.d/ssh restart

③ hadoop解压与系统变量配置

2.3.1 设置Hadoop配置文件

#创建文件夹
mkdir /expt/server
mkdir /expt/data
mkdir /expt/data/hddata

下载hadoop-2.7.7.tar.gz

Apache Hadoop

把hadoop解压移动到 /expt/server里面

tar zxvf hadoop-2.7.7.tar.gz -C /expt/server

Ubuntu下的Hadoop安装_第11张图片

2.3.2 创建软链接

ln -s /expt/server/hadoop-2.7.7 hadoop

 Ubuntu下的Hadoop安装_第12张图片

2.3.3 配置环境变量还是去~/.bashrc,同样的source

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc

 2.3.4 设置Hadoop配置文件

cd /home/ubuntu/Desktop/hadoop

2.3.5 配置hadoop-env.sh

这个一定要改成自己连接的jdk

Ubuntu下的Hadoop安装_第13张图片

2.3.6  配置core-site.xml

注意一定要有对应的,配置的时候一定要看是否有这个,宁愿删了也别留着,注意修改自己的用户名


  
        fs.defaultFS
        hdfs://4612190403:9000
    
    
        hadoop.tmp.dir
        /expt/data/hddata
    

 Ubuntu下的Hadoop安装_第14张图片

2.3.7  配置hdfs-site.xml

注意修改自己的用户名和对应configuration




		
			dfs.replication
			1
		
		
		 
		        dfs.namenode.secondary.http-address 
			4612190403:50090 
		
 

 Ubuntu下的Hadoop安装_第15张图片

 2.3.8 配置mapred-site.xml

先把这个文件复制一下,在配置新文件

cp mapred-site.xml.template mapred-site.xml





    
        mapreduce.framework.name
        yarn
    

 Ubuntu下的Hadoop安装_第16张图片

 2.3.9 配置yarn-site.xml





        
            yarn.resourcemanager.hostname
            4612190403
        
        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
 

 Ubuntu下的Hadoop安装_第17张图片

 2.3.10 hadoop格式化(只能做一次格式化)   

hdfs namenode -format

Ubuntu下的Hadoop安装_第18张图片

2.3.11 启动HDFS和YARN, 启动Hadoop,验证Hadoop进程

start-all.sh

 Ubuntu下的Hadoop安装_第19张图片

jps

 Ubuntu下的Hadoop安装_第20张图片

 2.3.12测试Hadoop

(1) 创建一个文本文件data.txt

cd ~
vi data.txt
Hello World
Hello Hadoop

 Ubuntu下的Hadoop安装_第21张图片

 (2)在HDFS创建input文件夹

hdfs dfs -mkdir /input

 

(3) 将data.txt上传到HDFS,并查看结果

hdfs dfs -put data.txt /input
hdfs dfs -ls /input #查看结果

Ubuntu下的Hadoop安装_第22张图片

 (4)运行MapReduce WordCount例子

cd /home/ubuntu/Desktop/hadoop/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /input/data.txt /output

Ubuntu下的Hadoop安装_第23张图片

 (5)查看结果,显示正确。

hdfs dfs -cat /output/part-r-00000

 这样就彻底完成了,错误一般都是环境配置问题

你可能感兴趣的:(VMware虚拟机,ubuntu,大数据,hadoop)