Hadoop伪分布式部署

准备工具：CentOS-6.4-x86_64-bin-DVD1.iso；hadoop-2.7.3-src.tar.gz;  jdk-8u151-linux-x64.tar.gz;  apache-maven-3.0.5-bin.tar.gz;     findbugs-1.3.9.tar.gz;  protobuf-2.5.0.tar.gz

第一步：在虚拟机上安装Centos6.4系统，很简单，略过。

注意：配置网络使用桥接模式，与主机相同的网关和掩码，（Windows查询主机地址命令：ipconfig；Linux命令：ifconfig），红标位置可自行选择。curl命令查询是否联网成功，也可以用Windows命令行ping主机地址。

联网配置示例

curl查询语句示例

第二步：1.shell链接,Windows能ping通，基本设置一下就好。    

               2.关闭防火墙（一条命令的事：chkconfig iptables off）

               3.禁用seLinux，如图

a

b

             4.修改localhost，然后重启（reboot），如图

a

b

            5.ssh免密登录，如图

示例代码

第三步：准备安装目录，在home目录下新建，tools，softwares，data目录

示例代码

第四步：在tools目录下，安装Windows上传资料的插件（yum install -y lrzsz）。然后输入命令（rz），可上传资料，上传JDK和Hadoop源码包

第五步：解压JDK到softwares目录下（tar -zxf  jdk-8u151-linux-x64.tar.gz -C ../softwares/）,打开jdk目录，并打印路径（pwd），复制待用。（vim /etc/profile）修改环境变量，只需配置JAVA_HOME,如图（参考）。java -version 查看是否安装成功及版本

第六步：为了系统安全，需添加用户操作，不能一直使用root权限。(adduser)添加hadoop01，（chmod u+x /etc/sudoers）提升权限，（vim /etc/sudoers ）修改权限

示例代码

第七步：应该是进入Hadoop的正式安装了，根据官方文档按顺序进行安装http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html

（wget+下载地址）下载源码包或者直接上传可以。然后把 apache-maven-3.0.5-bin.tar.gz;     findbugs-1.3.9.tar.gz;  protobuf-2.5.0.tar.gz都上传到tools目录下。解压到softwares

安装MAVEM，FINDBUGS，步骤类似，配置环境变量，（source /etc/profile）刷新环境变量。

PROTOBUF安装较为方便（yum  -y  install  autoconf  automake  libtool  cmake  ncurses-devel  openss-devel  lzo-devel  zlib-devel  gcc  gcc-c++）直接自动安装

第八步：编译源码包（mvn  package  -Pdist,native,  -DskipTests  -Dstar）大约半小时

编译完成

第九步：修改hadoop的配置文件，可以一个个用vim改，也可以用notepad++远程连接方便修改

示例

hadoop-env.sh:  export JAVA_HOME=/home/softwares/jdk1.8.0_151

core-site.xml: （记得在hadoop安装目录下新建 data/tmp存放数据）

  

hdfs-site.xml

mapred-site.xml

yarn-site.xml

第十步：你以为装好了吗？还是年轻啊。 （bin/hdfs namenode -format） 初始化hadoop

上面显示的都是没用的，要找到（18/03/29 06:07:54 INFO common.Storage: Storage directory /home/softwares/hadoop-2.7.3/data/tmp/dfs/name has been successfully formatted. ）这一句才算OK，一般在倒数几行。

启动Namenode和Datanode（ $ sbin/start-dfs.sh ）

登录125.221.225.201:50070界面管理器

125.221.225.201:8088 图形界面（要在Windows访问需在hosts文件添加主机地址）

算是基本上安装完成了，反正运行都会出错的。。慢慢百度