Hadoop2.6.0的安装部署(伪分布式)

本教程提供了从VMware的安装开始到hadoop的伪分布式安装，再到eclipse的安装配置的所有步骤，适合所有想入门hadoop的初学者。需要的工具可以到`http://pan.baidu.com/s/1hstGdCg 密码：8gfn`下载。

环境

操作系统:Ubuntu-16.04
Hadoop版本:2.6.0
JDK版本:1.8

虚拟机的安装

安装好VMware，打开VMware主界面，点击”创建新的虚拟机”
选择”自定义”然后下一步
直接下一步
选择”稍后安装操作系统”
选择”Linux”系统版本选择”Ubuntu 64位”
选择合适的位置安装(尽量不要使用中文路径)
配置好的电脑可以多分配处理器，不过就这样也暂时能跑
下一步
下一步
下一步
下一步
这里要选”将虚拟磁盘储存为单个文件”
下一步
点击”自定义硬件”，使用ISO映像文件选择Ubuntu的ISO文件的位置
完成后打开虚拟机，选择”中文简体”然后”安装Ubuntu”(如果打不开虚拟机，可能是BIOS中设置问题，具体需要搜索自己的电脑的品牌设置)
勾上”安装Ubuntu时下载更新”
点击现在安装，接着点继续
点击继续
点击继续
取个名字，设置好密码，点继续（我的主机名是tiny，为了方便你可以改成和我一样）
等待安装
安装完毕，重启就OK了

下载配置hadoop需要的各种工具

右键打开终端，先设置ROOT账户的密码
sudo passwd root
更新下apt
sudo apt-get update
安装VIM，习惯VI的可以不用安装
转到VMware的菜单点击虚拟机，选择"安装VMware tools"，系统会跳出一个VMware的安装包，拉到Home下（第一次可以跳不出，可以找到左边光盘的图标右键弹出，然后再点一次"安装VMware tools"）
解压到当前用户目录下(VMwareTools的版本会变,以具体安装时为准,用)
tar zxvf VMwareTools-XXXX-3228253.tar.gz -C /home/tiny
切换到当前用户目录，开始安装，这里一直输yes和按回车就好了
安装完后重启生效,现在就可以往虚拟机中直接传输文件和复制黏贴了,然后打开Ubuntu把压缩包拉倒home中备用(相关压缩包下载地址：http://pan.baidu.com/s/1bpLCFIR 密码：cd9a)

安装SSH配置，配置SSH无密码登录

安装SSH服务
sudo apt-get install openssh-server
先登录下ssh，输入密码
ssh localhost
再退出
exit
这样就有.ssh文件夹了，然后按下图操作中间一直回车就行了

cd ~/.ssh
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys

5.测试免密登陆
ssh localhost

安装JDK

先创建文件夹准备放JDK
sudo mkdir -p /usr/lib/jvm
解压JDK到/usr/lib/jvm
sudo tar zxvf jdk-8u101-linux-x64.tar.gz -C /usr/lib/jvm
配置环境变量
sudo vim /etc/profile
最下面添加内容然后保存（VIM按a键进入输入模式，按esc键再输入:wq保存，别的具体操作可以自行搜索)

#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

5.使其生效
source /etc/profile

6.测试结果
java

安装hadoop

解压hadoop
sudo tar zxvf hadoop-2.6.0.tar.gz -C /usr/local
重命名下hadoop文件夹方便配置
sudo mv /usr/local/hadoop-2.6.0/ /usr/local/hadoop
配置hadoop环境变量

#set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

4.使其生效
source /etc/profile

5.获取hadoop文件夹权限(这里我的主机名是tiny,改为自己的主机名)
sudo chown -R tiny /usr/local/hadoop/

6.修改hadoop-env.sh,找到这一栏，修改JAVA_HOME

cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh

7.修改core-site.xml(在标签里添加)
vim core-site.xml

        
             hadoop.tmp.dir
             file:/usr/local/hadoop/tmp
        
        
             fs.defaultFS
             hdfs://localhost:9000

8.修改hdfs-site.xml
vim hdfs-site.xml

        
             dfs.replication
             1
        
        
             dfs.namenode.name.dir
             file:/usr/local/hadoop/tmp/dfs/name
        
        
             dfs.datanode.data.dir
             file:/usr/local/hadoop/tmp/dfs/data

9.修改mapred-site.xml
mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

        
             mapreduce.framework.name
             yarn

10.修改 yarn-site.xml
vim yarn-site.xml

        
             yarn.nodemanager.aux-services
             mapreduce_shuffle

11.配置完回到主文件夹

12.格式化
hadoop namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错

13.先启动start-dfs.sh
sbin/start-dfs.sh

14.再启动start-yarn.sh
sbin/start-yarn.sh

15.查看jps
jps

安装eclipse

在 Ubuntu 中安装 Eclipse，可从 Ubuntu 的软件中心直接搜索安装，在桌面左侧任务栏，点击“Ubuntu软件中心”
在右上角搜索栏中搜索 eclipse，在搜索结果中单击 eclipse，并点击安装
安装 Hadoop-Eclipse-Plugin
unzip -qo hadoop2x-eclipse-plugin-master.zip -d /home/tiny

sudo cp ~/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/

/usr/lib/eclipse/eclipse -clean
配置Hadoop-Eclipse-Plugin
在继续配置前请确保已经开启了 Hadoop。
第一步：选择 Window 菜单下的 Preference。

此时会弹出一个窗体，窗体的左侧会多出 Hadoop Map/Reduce 选项，点击此选项，选择 Hadoop 的安装目录

第二步：切换 Map/Reduce 开发视图，选择 Window 菜单下选择 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other），弹出一个窗体，从中选择 Map/Reduce 选项即可进行切换。

第三步：建立与 Hadoop 集群的连接，点击 Eclipse软件右下角的 Map/Reduce Locations 面板，在面板中单击右键，选择 New Hadoop Location。

在跳出来的面板里改成下图的设置

可以直接到看HDFS的文件结构了