Hadoop伪分布式模式安装部署

(因为我也是新手，所以基本上是借鉴前辈，慢慢摸索的，在文章中可能会有许多不详尽的地方，还请谅解)

一 部署方式

（1） Hadoop安装方式

1.传统解压包方式

2.Linux标准方式

（2）Hadoop工作环境构建方式

1.单机模式

不需要与其他节点交互，因此不需要使用HDFS，直接读写本地的文件系统，主要用于开发调试MapReduce程序的应用逻辑。

2.伪分布模式

单机运行，用不同进程模仿分布式运行中的各类节点。

3.分布式模式

在不同机器上部署系统。

本实验主要采用Linux标准方式伪分布模式来安装部署Hadoop。

二 部署步骤

（1） 制定部署规划

（2） 准备机器

（3） 准备机器软件环境

（4） 下载Hadoop

（5） 解压Hadoop

（6） 配置Hadoop

（7） 启动Hadoop

（8） 测试Hadoop

三 准备环境

硬件环境：一台64位4G内存windows7笔记本

软件环境：Vmware Workstation12,Ubuntu 64

四 部署过程

（1）  安装Linux虚拟机（从官网上下载安装包，序列号在网上可以找到）

（2）  建立新的虚拟机，并安装Ubuntu系统

先去官网下载好Ubuntu镜像iso文件，根据新建虚拟机向导，选定自定义新建，将镜像文件添加进去。

（3） 在windows主机和Ubuntu之间建立共享文件夹

1.编辑虚拟机设置，启用共享文件夹，并制定共享位置。

2.下载安装Vmware Tools

l  打开Ubuntu终端，两种主要方法：在桌面任意空白处，按CTRL+ALT+T；

找到ubuntu software,A一样的标志，然后在已安装文件里找到Terminal。（P.S.如果ubuntu版本是英文版，可以在设置里选择中文版）

l  找到VmwareTools位置，解压并安装

此时的文件路径，可以把文件直接拖拽到终端上，以免发生错误

安装成功后，打开Ubuntu，可以在/mnt/hgfs目录下看到对应Windows主机的共享文件夹。

（4） 安装SSH

SSH用来管理远端Hadoop守护进程。

sudo apt-get install ssh

（5） 安装JDK

在官网下载安装包，安装。我首先在usr文件夹下新建了一个JAVA文件夹，把压缩包放在里面，然后解压至/usr/local/下。

（P.S.此时我的文件是.sh，所以直接可以打开安装。如果是tar.gz，要进行解压，命令如下：sudo tar -zxvf 文件名.tar.gz）

（6）配置环境变量

1.打开文件/etc/profile

命令如下：

sudo gedit /etc/profile

2.在文件结尾，添加

export JAVA_HOME=/usr/local/jdk1.8.0_91

exportCLASSPATH=".:$JAVA_HOME/lib:$JAVA_HOME/jre/lib$CLASSPATH"

exportPATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/hadoop/hadoop-2.7.2/bin:$PATH"

(因为提前下好了Hadoop，所以才提前下好了Hadoop路径和版本号，顺便配置Hadoop环境变量)

3.因为系统自带Openjdk，所以在命令行中输入如下，接着java –version可以观察JDK是否配置好。

sudo update-alternatives  --install  /usr/bin/java  java  /usr/jvm/jdk1.8.0_91/bin/java 300

sudo update-alternatives  --install  /usr/bin/javac  javac  /usr/jvm/jdk1.7.0_40/bin/javac 300

sudo update-alternatives  --config  java

java -version

（7）安装Hadoop，并设置文件夹权限

在/usr下新建一个hadoop文件夹，然后将安装包解压到这个到这里，-C是指定解压位置

设置文件夹权限

sudo  chown  -hR  yo  /usr/hadoop

(8)免密SSH设置

1.首先设置好SSH(这一步其实之前做好，可能会有点多余)

sudo  apt-get install openssh-server

2.配置可以免密码登陆本机

ssh-keygen  -t  dsa -P '' -f  ~/.ssh/id_dsa

cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

ssh  localhost

3.SSH登陆成功 ssh localhost

(9)配置Hadoop伪分布模式

找到安装Hadoop的文件夹，找到conf文件。（直接搜索比较方便）

1. 配置 hadoop 环境文件 hadoop-env.sh（如果之前漏掉设置文件夹权限，此时会发现文件是只读模式，无法修改）

在文件中找到export JAVA_HOME这项，添加路径。

2. 配置 Hadoop 的核心文件 core-site.xml：

            fs.default.name

            hdfs://localhost:9000

     

 

     

             dfs.replication

             1

     

 

     

              hadoop.tmp.dir

              /home/yo/tmp

     

在中写，记得把第二个property里的yo改成自己的用户名

3.配置 Hadoop 中 MapReduce 的配置文件 mapred-site.xml

（1） 格式化Hadoop文件系统HDFS并启动Hadoop

1.格式化

bin/hadoop  namenode -format

2.启动Hadoop

bin/start-all.sh

(10)验证hadoop是否正常启动

jsp

(11)关闭Hadoop

bin/stop-all.sh