HADOOP安装指南-Ubuntu15.10和hadoop2.7.2

Ubuntu15.10中安装hadoop2.7.2安装手册

太初

目录

1.      Hadoop单点模式... 2

1.1        安装步骤... 2

0.环境和版本... 2

1.在ubuntu中创建hadoop用户... 2

2.安装ssh. 3

3.安装java环境... 3

4.安装hadoop. 4

5.测试... 5

2.      Hadoop伪分布式... 5

2.1        安装步骤... 5

0.环境和版本... 6

1.      配置core-site.xml文件... 6

2.      配置hdfs-site.xml文件... 6

3.      格式化namenode. 7

4.      启动HADOOP. 7

5.      JPS命令验证HADOOP进程... 8

6.      WEB界面查HDFS信息... 8

7.      通过命令操作HDFS文件系统... 9

8.      测试... 9

3.      Hadoop伪分布式（+YARN）... 10

3.1        安装步骤... 10

4.      Hadoop集群... 12

4.1        安装步骤... 12

5.      其他补充... 18

6.1        LINUX经验... 18

6.1.1         开启bash的自动完成功能... 18

6.1.2         开启ubuntu虚拟机和win10宿主机的vmware tool（共享文件）... 18

6.1.3         Ubuntu的Terminal快捷方式... 19

6.1.4         Find命令举例... 19

6.1.5         PATH变量简述... 19

6.1.6         Ubuntu中安装vmware tools. 19

6.2        杂... 19

6.2.1         如何保存被禁止拷贝或存盘的HTML？... 19

6.      资料... 20

 

 

 

 

特别说明：

本文档是笔者研究了大量网络资料，然后自己实践成功后，汇总各方资料的结果。总结和分享的目的只有一个，让其他学友能少走弯路，集中精力解决业务问题，而不是环境搭建问题。在本文中引用了很多网络资料，图片，名称，信息等内容，如果涉及版权问题，请原作者及时联系并告知。谢谢。

       “资料”章节收纳了本文用到后未用到的资源和连接，用于分享。

        因能力所限，错漏之处敬请见谅。

 感谢网络各位大神的信息分享，是你们的努力推动者技术的发展！

[Spark安装运行手册随后贴上，谢谢！]

 

1.   Hadoop单点模式

1.1   安装步骤

0.环境和版本

ubuntu 15.10

jdk 1.8.84

hadoop 2.7.2

1.在ubuntu中创建hadoop用户

（备注：在GUI（图形）界面中可用“ctrl+Alt+T”快捷键打开Terminal（终端窗口），并输入下列命令。）

在Ubuntu终端窗口中，复制粘贴的快捷键需要加上 shift，粘贴是 ctrl+shift+v；拷贝是ctrl+shift+c；等等）

$ sudo useradd -m hadoop -s /bin/bash //新建hadoop用户

$ sudo passwd hadoop //修改密码为hadoop，等于账号，方便操作；

$ sudo adduser hadoop sudo //为hadoop增加管理员的权限，以免之后出现权限问题。

（备注：也可打开sudoers文件，给hadoop用户赋予和root一样的权限：$sudo gedit /etc/sudoers  ；然后编辑增添如下那句hadoop   ALL(ALL:ALL)  ALL）

【重要】GUI中注销当前账户（root或Ubuntu安装初始用户，我这里是ya），并随后用hadoop再次登陆。

（可选：$sudo apt-get update //因为会用apt按照其他软件，如果未更新apt，有可能无法安装其他软件，可选！） 若出现如下 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。 解决办法：【系统设置】（齿轮图标），选择【软件和更新】，点击 “下载自” 右侧的方框，选择【其他节点】，选择服务器，在列表中选中【mirrors.aliyun.com】，并点击右下角的【选择服务器】，会要求输入用户密码，输入即可。点击关闭后，此时会提示列表信息过时，点击【重新载入】，耐心等待更新缓存。完成会自动关闭【软件和更新】这个窗口。再尝试按照apt。如果还是提示错误，请选择其他服务器节点如 mirrors.163.com再尝试。更新成功后，再次执行 sudo apt-get update 就正常了。

 

2.安装ssh

$sudo apt-get install openssh-server //在Terminal中允许命令，下同

（备注：用yes来continue继续安装，一般install安装包默认都选y或yes就可）

（备注：Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server）

$sudo /etc/init.d/ssh start //安装好ssh服务后就打开它（尚未放入自启动！）

$ ps -e | grep ssh  //查看ssh服务是否正确启动

$ ssh-keygen -t rsa -P ""   //设置免密码登录，【在输入路径那儿直接回车！】

（备注：原理可能是设定空字符串为基础来生成的密钥对！）

（备注：在/home/hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥）

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  //将公钥追加到authorized_keys里面

（备注：它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容；“~”波折号代表用户主文件夹；）

$ssh hadoop@localhost //登录ssh（其他linux的Terminal重也可尝试如此操作：ssh hadoop@（IP|HOSTNAME）；

（备注：第一次需要输入yes，确认初次登录，后续不用。）

$exit //退出ssh

（备注：userA@linuxPC1通过ssh登录了userB@linuxPC2，那么就登录uesrA获得了userB的权限，并等价于userB通过Terminal在linuxPC2上执行命令，此为ssh方便功能之一）

 

3.安装java环境

下载jdk二进制编译包

下载用wget软件，wget软件在ubuntu下的安装命令如下：

sudo apt-get install wget  //按照wget程序，可直接通过“wget url链接 -o 输出文件名”来下载“*.tar.gz”。

（备注：举例用wget下载jdk包的命令格式为：wget http://download.oracle.com/otn-pub/java/jdk/8u51-b16/jdk-8u51-linux-x64.tar.gz?AuthParam=1437810421_1d235bda6e9428e1caa05d0fd7951c6d -o jdk-x64.tar.gz

（备注：建议直接在百度搜索“oracle JDK download”找到合适OS/64/32的JDK并直接通过浏览器下载到Ubuntu，再进行如下操作更放心！）

（备注：在Ubuntu的GUI中通过firefox下载JDK，默认保存路径在“/home/hadoop/下载”中，path含有中文，如果Ubuntu配置了“双拼/拼音”输入法，则可以在Terminal下使用中文！)

 

$sudo cp jdk-x64.tar.gz /usr/local/   //因hadoop权限不够，用sudo拷贝JDK到合适目录

$cd /usr/local/    //进入JDK包所在目录

$sudo tar xzvf jdk-x64.tar.gz  //sudo来释放JDK

（备注:本人下载是当时最新的JDK1.8.0_74，故在/usr/local/目录下解压生成的jdk目录是/usr/local/jdk1.8.0_74）

 

$sudo apt-get install vim  //Ubuntu15.10下默认vim下载但未安装，请下载安装，确保vim可用；

$sudo vim /etc/profile    //配置如下JDK相关路径到profile

（备注：这几行配置应该加载到/etc/profile文件的“if [ -d /etc/profile.d ]; then”这一章节中，“done”行之后，“unset i” 行之前！另外，linux配置等号两边不能空格！）

export JAVA_HOME=/usr/local/jdk1.8.0_74

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

（备注：vim打开文本文件后，提示符默认在左上角且为命令模式，请马上输入“i”则进入“插入”模式；则可上下左右移动提示符并修改文本；

 完成后马上用esc退出插入模式；随后用“shift+冒号”进入底部命令行模式，用wq命令保存并退出，q直接退出（如果未做任何修改）；如果修改

 则无法q，而必须用q！来强制直接退出（不保存）；其他请详查web资料；）

 

$source /etc/profile    //使修改的profile立即生效

$java –version   //测试jdk是否安装成功；能正确显示JDK版本的就算安装成功；

 

 

4.安装hadoop

$sudo cp hadoop-2.7.2.tar.gz /usr/local/     //从hadoop官网下载最新hadoop包，比如2.7.2并拷贝到目的目录

$cd /usr/local

$sudo tar xzvf hadoop-2.7.2.tar.gz  //解压；只能下载tar.gz给Ubuntu用；rpm格式是redhat专用

$sudo mv hadoop-2.7.2 hadoop   //改名为hadoop方便后续操作

$sudo chown hadoop:hadoop -R -f /usr/local/hadoop/   //修改目录主人

$sudo vim /etc/profile   //vim可用后，再次编辑profile，添加配置；

 

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 

$ /usr/local/hadoop/bin/hadoop version //查看hadoop的版本及校验和等信息！

 

(备注: 如果安装了vmware tool并启用了共享目录，则可以从宿主PC拷贝文本和文件到虚拟机中；或通过teamviewer等软件拷贝文本和晚间！)

 

特别说明：校验MD5值 $cat ~/下载/hadoop-2.7.2.tar.gz.mds | grep 'MD5'  //可列出md5检验值 $head -n 6 ~/下载/hadoop-2.7.2.tar.gz.mds   //也可列出2.7.2校验值 md5sum ~/下载/hadoop-2.7.2.tar.gz | tr "a-z" "A-Z"   //可根据二进制包来计算md5值并转为大写方便比较； 若文件不完整则这两个值一般差别很大，可简单对比前几个字符和后几个字符即可。   补充： Ubuntu15.10包含：md5sum,sha1sum,sha256sum等命令，通过man来查他们用法，既可以生成一个二进制文件的校验和，也可以验证校验和是否正确（要求校验和关联的二进制文件放在同一个目录）。 比如校验hadoop文件可用命令： sha256sum  --check  hadoop-2.7.2-tar.gz.mds  (如果它是正确的SHA256格式，sha256sum会找到它内部指向的原始二进制文件，比如hadoop-2.7.2-tar.gz，并为它生成临时的SHA256来比较是否一致！) 目前看hadoop上下载的2.7.2二进制安装包是好的，但它的SHA256文件是不可视的乱码文件（非ANSI或UTF-8，也许是Unicode），所以可能以上命令及用法及猜想都是有问题的，毕竟hadoop网站不会错！

 

5.测试

进入 hadoop目录：

$cd /usr/local/hadoop  //进入hadoop目录

$mkdir ./input    //example WordCount不会自动建立input目录，所以需要手动建立；

$cp *.txt ./input/    //拷贝若干文本文件到input让WordCount程序可以统计词频；

$rm -f -r /usr/local/hadoop/output/

     //WordCount程序不会自动删除output，每次启动如果没有手动删除output就出错！

$./bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output   //wordcountl例子，统计input目录下所有文件可读词汇的词频并写入output中

$cat ./output/*          //查看运行结果

 

$./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep ./input ./output 'dfs[a-z.]+' // grep 例子，将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中

$cat ./output/*          //查看运行结果

 

$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar //查看更多Hadoop 附带的例子说明，包括 wordcount、terasort、join、grep 等。

 

 

（备注：运行官方测试样例如上；遇到问题请添加input目录，删除output目录；结果在output\part-r-00000中；）

（备注：特别注意，如果通过VMware的共享目录，放了一些window的文本文件到hadoop的input目录，因为“文件结果linux和win不同”则hadoop会报错，但初看仍然会继续执行得到结果！）

 

#####至此，单点hadop的安装和demo测试完成！（不含hdfs/yarn伪分布式安装内容） #####

 

2.   Hadoop伪分布式

伪分布式模式是基于单机模式顺利安装测试通过后的进阶尝试；

其使用的软件版本和环境都和单机模式没有区别，仅是通过新增配置来使伪分布模式起效并取代单机模式的运行；

后面有关于模式之间切换的介绍；

2.1   安装步骤

0.环境和版本

（完全和单机模式一致）

ubuntu 15.10

jdk 1.8.84

hadoop 2.7.2

1.    配置core-site.xml文件

（说明：Hadoop 可以在单节点上以伪分布式的方式运行；Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件，而不再是Ubuntu操作系统的ext4下面的文件；）

 

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml。配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 core-site.xml原来内容为空的标签“<configuration></configuration>”

(备注：因为是XML文件，不是普通INI/CONF/TXT等配置文件，所以不可以用#井号做备注，应该用<!—XXX -->来添加注释！)

修改为下面配置： <configuration>         <property>              <name>hadoop.tmp.dir</name>              <value>file:/usr/local/hadoop/tmp</value>              <description>Abase for other temporary directories.</description>         </property>         <property>              <name>fs.defaultFS</name>              <value>hdfs://localhost:9000</value>         </property> </configuration>

 

2.    配置hdfs-site.xml文件

同样修改配置文件 hdfs-site.xml： <configuration>         <property>              <name>dfs.replication</name>              <value>1</value>         </property>         <property>              <name>dfs.namenode.name.dir</name>              <value>file:/usr/local/hadoop/tmp/dfs/name</value>         </property>         <property>              <name>dfs.datanode.data.dir</name>              <value>file:/usr/local/hadoop/tmp/dfs/data</value>         </property> </configuration> XML

 

（说明：虽然官方教程只需配置 fs.defaultFS 和 dfs.replication两项就可以运行hadoop，但若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。）

 

3.    格式化namenode

./bin/hdfs  namenode –format    //配置完成后，需格式化 NameNode方能使用；

（备注：成功的话，会看到 “successfully formatted” 和 “Exitting with status 0″ 的提示；若为 “Exitting with status 1″ 则是出错。）

 

（注意：这一步若提示 Error: JAVA_HOME is not set and could not be found. 的错误，则需要在文件 ./etc/hadoop/hadoop-env.sh 中设置 JAVA_HOME 变量；比如找到“export JAVA_HOME=${JAVA_HOME}”，改为“export JAVA_HOME=/usr/local/jdk1.8.0_74”，并重新尝试格式化即可。最好总是添加！）

 

4.    启动HADOOP

./sbin/start-dfs.sh    //开启 NameNode 和 DataNode 守护进程

（备注：出现SSH提示，输入yes即可）

 

 

注意：启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。但最好修复它； 解决方法是编辑hadoop-env.sh, 在最后添加“export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib:$HADOOP_INSTALL/lib/native”

 

5.    JPS命令验证HADOOP进程

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”；JPS命令以后会多次用于yarn和真实分布式模式中；

 

Jps  //通过jps查看启动的Hadoop进程

 

错误1：如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试。

错误2：如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，通过查看启动日志排查原因。

错误3：如果DataNode没启动，一般情况下，可尝试如下方法恢复。但这会删除 HDFS中原有数据，请谨慎！）：

./sbin/stop-dfs.sh   //关闭hadoop（hdfs）

rm -r ./tmp  //删除 tmp 文件，这会删除 HDFS 中原有的所有数据

./bin/hdfs namenode -format  //重新格式化 NameNode

./sbin/start-dfs.sh  //重启

 

排错方法：可查启动日志来排查原因，注意几点：

启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；启动日志都是追加的，拉到最后查看最新内容，log每行有时间信息。出错通常写着 Fatal、Error、Warning 或者 Java Exception 的地方。可在网上搜索出错信息，找到相关解决方法。

 

6.    WEB界面查HDFS信息

http://localhost:50070/；当成功启动后，可以访问 Web 界面来查看 NameNode 和 Datanode 信息，还可在线查看 HDFS 中的文件。在“Utilities”菜单下“Browse the file system”中可看到在hdfs上建立的目录“/user/hadoop”等，而在ubuntu的文件系统ext4上看不到！

7.    通过命令操作HDFS文件系统

单机模式下运行“grep/WordCount”等例子读取的是Ubuntu的ext4中的本地数据，而伪分布式读取的则是 HDFS 上的数据。为了使用 HDFS，需要在 HDFS 中创建用户目录，增删改查文件和目录。

./bin/hdfs dfs -mkdir -p /user/hadoop  //在HDFS创建hadoop用户

./bin/hdfs dfs -mkdir input      //新建hadoop用户后自动转到其目录下，现在新建input目录，在hadoop目录下

./bin/hdfs dfs -put ./etc/hadoop/*.xml input   //将Ubuntu的ext4目录下的xml文件拷贝到hdsf的hadoop\input目录下；

./bin/hdfs dfs -ls input     //复制完成后，查看文件列表；

 

（说明：伪分布式模式运行的MapReduce 作业的方式跟单机模式相同，但区别在于伪分布式读取的是HDFS中的文件，而不是Ubuntu的ext4下的output和input目录；可以将单机模式步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。

 

8.    测试

执行“grep”example：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

$ ./bin/hdfs dfs -cat  output/*      //查看hdfs上的结果；

执行“wordcount”example：

./bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output

（备注：此句和单点运行模式时一模一样，但是因为hadoop启动为伪分布式，所以从hdfs里的input读数据并写入output中去，不会再访问ubuntu的文件系统ext4了。结果可以通过本机50070的portal登陆查看hdfs文件系统的变化，并下载结果到ext4中。）

 

查看运行结果（查看的是位于 HDFS 中的输出结果）：

./bin/hdfs dfs -cat output/*

 

也可从HDFS取回运行结果到本地ext：

rm -r ./output    # 先删除本地的 output 文件夹（如果存在）

./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机

cat ./output/*

 

（再次运行）Hadoop伪分布式的grep

./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

（备注：Hadoop 运行grep或wordcount时，输出目录不可存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，需先删除 output 文件夹；在实际开发应用程序时，也可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作，如下：）

Configuration conf = new Configuration(); Job job = new Job(conf);  /* 删除输出目录 */ Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true);

 

关闭 Hadoop：

./sbin/stop-dfs.sh

 

再次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！

 

3.   Hadoop伪分布式（+YARN）

3.1   安装步骤

 

启动YARN 启动 Hadoop 后，没有原来的JobTracker 和 TaskTracker，因为新版Hadoop使用了新的MapReduce V2框架，称为 YARN（Yet Another Resource Negotiator）。YARN 从 MapReduce 中分离出来，负责资源管理与任务调度。 YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性。伪分布式HADOOP可以不安装和启动YARN。 通过 ./sbin/start-dfs.sh启动Hadoop后，仅是启动了供MapReduce使用的HDFS环境，为了启动 YARN来负责资源管理与任务调度。需要修改配置文件 mapred-site.xml： mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml //先从默认template重命名 用vim编辑如下： <configuration>         <property>              <name>mapreduce.framework.name</name>              <value>yarn</value>         </property> </configuration> 再修改配置文件 yarn-site.xml： <configuration>         <property>              <name>yarn.nodemanager.aux-services</name>              <value>mapreduce_shuffle</value>             </property> </configuration> ./sbin/start-yarn.sh      /YARN（需先启动HDFS/MR） ./sbin/mr-jobhistory-daemon.sh start historyserver  //启动历史服务器，才能在Web中查看任务运行情况； 通过 jps命令查看到（NodeManager，ResourceManager，NameNode，DataNode）进程都启动了； 启动 YARN 之后，运行实例的方法还是一样，但资源管理方式和任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN的好处是通过Web界面http://localhost:8088/cluster可以查看任务运行情况：   YARN 主要是为集群提供更好的资源管理与任务调度，然而这在单机上体现不出价值，反而会使程序跑得稍慢些。 如果不想启动 YARN，务必把配置文件 mapred-site.xml重命名，比如改回到mapred-site.xml.template，需要用时再改回来。否则该配置文件存在但未开启 YARN的情况下，运行实例程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032″ 的错误，这就是为何该配置文件初始默认文件名为 mapred-site.xml.template的原因。 (备注：先关闭yarn再rename它的配置比较好！Ubuntu用mv而不是rename来修改文件名称！ Ubuntu下面rename是另一个较为复杂但强大的正则表达式命令，一般用来批量重命名文件之用) ./sbin/stop-yarn.sh    //关闭YARN ./sbin/mr-jobhistory-daemon.sh stop historyserver    //关闭history服务器，WEB也没了；   补充hdfs命令： hadoop@ya-chy-pc-vm:/usr/local/hadoop$ hadoop fs -ls -R /        列出虚拟hdfs的根目录/下所有文件 –R是递归 hadoop@ya-chy-pc-vm:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir /user/hadoop/output 新建hdfs指定目录（绝对路径） hadoop@ya-chy-pc-vm:/usr/local/hadoop$ ./bin/hdfs dfs -rm -r /user/hadoop/output 递归删除指定目录

 

4.   Hadoop集群

4.1   安装步骤

 

前面已经描述了Hadoop的单点安装，伪分布式安装及YARN的使用，这里再描述集群安装的要点。 我们基于之前安装的目录假设，仅对有区别的做特别提醒，否则请翻看前面内容。 另外，一些注意点和要点，可能也类似，前面提醒过的，无非重要，不再提醒，假设读者已经充分熟练掌握前面几种安装情况，并顺利运行。   笔者的网络拓扑环境如下： 台式PC（宿主机/AMDK8/8G/win10）：192.168.1.X（路由器DHCP动态分配） 台式PC（虚拟机/AMDK8/3G/Ubuntu15.10+虚拟机网络模式为桥接模式）：192.168.1.220（master）固定IP 笔记本PC（E5420/i3/2GB/Ubuntu15.10）：192.168.1.201（slave1）固定IP 笔记本PC（E5400/双核/2GB/Ubuntu15.10）：192.168.1.202（slave2）固定IP 两两都能ping通，可以路由得到彼此，算在一个局域网内。 两两建立SSH后，可以用SCP（如下），将下载好的JDK/HADOOP等拷贝到其他host主机上。（用有线网络所在的HOST下载安装包最快。） scp hadoop-2.7.2.tar gz [email protected]:/home/hadoop/  或 scp hadoop-2.7.2.tar gz hadoop@slave1:/home/hadoop/  其他类似   主要流程: 确认Master/Slave/…等集群各主机（host）的功能，弄好它们之间的SSH（配置见后）,IP,PING,SCP,JDK； a)         Hostname建议用常用且含有明确的master和slave。 在 Master 节点配好hadoop 用户，安装Hadoop并配置； a)         如果安装过单点或伪分布式就已经正确安装了hadoop，只有配置有些变化而已。 3.      在Slave节点配号 hadoop 用户； 4.      将 Master节点上的/usr/local/hadoop目录复制到其他Slave节点上（为了快并保持配置一致，这样比较简单）； 5.      在 Master节点上开启Hadoop，就启动了整个Hadoop集群。   准备IP和网络 （A）有些家庭电信宽带自带路由器，但它只提供useradmin权限（也许电话服务商可以获取admin权限），这个账号仅能修改很少配置。却不能绑定MAC地址，设定DHCP的IP超时时间等；所以家中多个设备如手机，PC，笔记本电脑，如希望保持家庭内网IP不变，只能在设备上设定固定IP；比如在PC或笔记本电脑中设定内网IP，不影响上公网Internet。 （B）如果PC上还有虚拟机（比如笔者WIN10台式PC上安装Ubuntu15.10的虚拟机），但用个免费的VMware player，则此免费版本不支持修改“虚拟网络参数”（比如修改VMNET8的默认192.168.44.XXX虚拟机网段为192.168.1.XXX等等），但收费的VMware workstations版可以。所以因为192.168.1.X和192.168.44.X是2个网段，无法ping通（也许可以通过增加路由等方式解决，备注如下。），不方便。所以将VMware player中虚拟机改为桥接模式，虚拟机和宿主机共享一个网段，所以虚拟机可以配置固定IP如192.168.1.220；就可以和家中其他host通讯了； 备注： 1.X或44.X两个网段中任何一侧主机都添加手动路由（类似：route add 192.168.44.0 mask 255.255.0.0 192.168.1.199；假设虚拟机宿主PC是固定IP且在1.X网段；因为宿主机安装了VMware player，所以自动具有向两侧网络转发IP包的能力；详见http://www.zhihu.com/question/20231472 此法待验证！），建议用桥接方法，简单方便。   任何配置前，建议都先关闭 Hadoop (/usr/local/hadoop/sbin/stop-dfs.sh)，再进行后续集群配置。   sudo vim /etc/hostname     //修改“hostname=master”，其他slave等集群机器都要修改；注意大小写； sudo vim /etc/hosts         //修改为如下，其他slave等集群机器都要修改；注意大小写； “192.168.1.201 slave1” “192.168.1.202 slave2” “192.168.1.220 master” “127.0.0.1 localhost”   对master和每个slave机器都做如上hostname和hosts配置，且重启动（才能体现出hostname） 注意：hosts文件中只有一个 127.0.0.1，对应名为 localhost，有多余应删除，特别不能有 “127.0.0.1 master”等   SSH配置： 这个和单点类似，只不过要让master可以操控各个slave机器，所以额外做如下操作： cd ~/.ssh              //如果以前安装hadoop生成过ssh，就会有该目录； rm ./id_rsa*            //删除OLD公匙（因为hostname变化了） ssh-keygen -t rsa        //一直按回车就可以（这样就生成了无密码的密钥对） cat ./id_rsa.pub >> ./authorized_keys    //将公钥id_rsa.pub写入认证文件authorized_keys中 ssh master            //尝试master本机的无密码SSH登陆，测试通过就继续后续处理 scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/   //将公钥也拷贝到slave1机器上；   #以下在slave1机器上执行，其他slave类似 mkdir ~/.ssh        //如果不存在该文件夹需先创建，若已存在则忽略。Slave1如果自己弄过SSH，就会有它。 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys    //将master的公钥加入本地授权文件； rm ~/id_rsa.pub    //删除master公钥   #以下在slave1机器上执行，其他slave类似 ssh slave1     //在master机器上执行，尝试无密码SSH登陆slave1，成功后，其他slave都配置好测试完。   路径配置： 在路径（etc/profile）中增加行“export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin”，如果做过之前的点单等配置，应该已经有了，可以查所有集群的相关配置。并source一下，应用更新。   设定集群相关配置文件： 集群/分布式模式需要修改/usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置请查官方说明。这里仅设置为了正常启动所必须的设置项：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml   1.文件slaves 该文件记录所有DataNode 的主机名，每行一个hostname字符串，默认为 localhost（伪分布式模式时，slaves文件默认为localhost，则节点即作为NameNode也作为DataNode）。分布式配置可以保留 localhost，也可删掉，让master 节点仅作为 NameNode 使用。 这里请添加如下内容： “slave1 slave2” 两行，master 节点仅作为NameNode使用，不作为datanode。请将localhost行删除。   2文件core-site.xml   <configuration>         <property>                 <name>fs.defaultFS</name>                 <value>hdfs://Master:9000</value>         </property>         <property>                 <name>hadoop.tmp.dir</name>                 <value>file:/usr/local/hadoop/tmp</value>                 <description>Abase for other temporary directories.</description>         </property> </configuration>   3文件hdfs-site.xml 我们有slave1和slave2所有dfs.replication填写2，它指定dfs分布式文件系统的replication数目。 <configuration>         <property>                 <name>dfs.namenode.secondary.http-address</name>                 <value>Master:50090</value>         </property>         <property>                 <name>dfs.replication</name>                 <value>2/value>         </property>         <property>                 <name>dfs.namenode.name.dir</name>                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>         </property>         <property>                 <name>dfs.datanode.data.dir</name>                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>         </property> </configuration>   4文件mapred-site.xml 默认安装完是mapred-site.xml.template，请重命名。   <configuration>         <property>                 <name>mapreduce.framework.name</name>                 <value>yarn</value>         </property>         <property>                 <name>mapreduce.jobhistory.address</name>                 <value>master:10020</value>         </property>         <property>                 <name>mapreduce.jobhistory.webapp.address</name>                 <value>master:19888</value>         </property> </configuration> 备注：注意master大小写最好一致，几个配置文件都要注意。   5文件yarn-site.xml   <configuration>         <property>                 <name>yarn.resourcemanager.hostname</name>                 <value>master</value>         </property>         <property>                 <name>yarn.nodemanager.aux-services</name>                 <value>mapreduce_shuffle</value>         </property> </configuration>   从master复制配置到各slave机器： 将 master上/usr/local/Hadoop文件夹复制到各个节点上。如果以前有安装配置运行过伪分布式模式，建议在切换到集群模式前备份（或删除）之前的临时文件，以便出现问题。 在master 节点上执行： cd /usr/local sudo rm -r ./hadoop/tmp     //删除无用临时文件 sudo rm -r ./hadoop/logs/*   //删除日志 tar -zcf ~/hadoop.master.tar.gz ./hadoop   //压缩 cd ~ scp ./hadoop.master.tar.gz slave1:/home/hadoop  //从master复制目录压缩包到slave1机器； 在 slave1 节点上执行： sudo rm -r /usr/local/hadoop    //删掉旧的（或mv备份到比如“Hadoop-standalone”等等） sudo tar -vzxf ~/hadoop.master.tar.gz -C /usr/local  //解压缩 sudo chown -R hadoop:hadoop /usr/local/hadoop    //变更目录owner权限，让hadoop用户可用此目录   同样对其他slave进行处理。   首次运行：   首次启动需要先在master节点执行NameNode的格式化： 在master节点上运行： hdfs namenode -format       //首次运行需要执行初始化（一大堆log输出，开启NameNode，格式化并再次关闭）   关闭防火墙： Ubuntu15.10如果是desktop默认配置的防火墙不会影响hadoop各种模式的运行。但如果是server版本，比如centOS这种偏服务器的版本，可能默认/etc/init.d/iptables会启动，可以停掉它，请查相关资料。       启动Hadoop集群： 在 Master 节点上执行： start-dfs.sh  //一般在/usr/local/hadoop/sbin，下同； start-yarn.sh mr-jobhistory-daemon.sh start historyserver 通过命令jps可以查看各个节点所启动的进程。正确的话，在Master节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程。在Slave节点可以看到 DataNode 和 NodeManager 进程。缺少任一进程都表示出错。 还可在Master节点上通过“hdfs dfsadmin –report”查看DataNode是否正常启动，Live datanodes为2（2个slave机器都是datanode），则说明集群启动成功。   通过Web查看集群状态： http://master:50070/ 查看DataNode，NameNode 的状态。如果不成功，通过启动日志排错。Log4j应该配置好（前面有详述，不在累赘）。   运行分布式集群的例子： 方法和伪分布式一样（伪分布式就是为了让你联系分布式的，所以理应差别不大）。 hdfs dfs -mkdir -p /user/hadoop           //首先创建HDFS上的用户目录 hdfs dfs -mkdir input              //为hdfs分布式系统建立input目录 hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input    //从Ubuntu本地ext4文件系统拷贝文件到hdfs http://localhost:50070/      //web查看DataNode的状态（占用大小会改变），文件确实复制到了DataNode中   hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'    //运行MapReduce作业 说明：上述命令hadoop位于/usr/local/hadoop/bin/hadoop，因为设定过PATH，所以可以直接执行；运行时的输出信息与伪分布式类似，会显示Job 的进度。可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改 YARN 的内存配置解决。   查看job运行情况： 通过Web界面查看JOB进度http://master:8088/cluster ，点击 “Tracking UI”这列的 History 连接，可看任务运行信息。   关闭集群： stop-yarn.sh    //在master节点上关闭yarn stop-dfs.sh     //再master节点上关闭hdfs分布式文件系统 mr-jobhistory-daemon.sh stop historyserver          //在master上关闭跟踪信息 备注：你同样也可以和伪分布式类似而选择不启动YARN，但除了不start-yarn.sh之外，要记得改掉mapred-site.xml 的文件名，比如将它mv为原来的mapred-site.xml.template。   至此，基本上分布式hadoop集群最基本的搭建运行和启停都算弄了一下。还有大量的配置和调优工作需要研究。 提醒：千万不要为了调优和调优，分布式计算系统（包括以后将介绍的SPARK）主要是为了解决问题，先跑通解决问题是一个领域或维度；而调优并让问题解决的更漂亮是另外一个维度和领域，两者并无必然的联系；建议还是先用上分布式（hadoop和spark），再考虑一定数据量和计算量情况下的调优。这是两个工种，如同研发工程师和产业化工程师的区别。     Hadoop各种模式切换及说明：   1伪分布式安装的说明： 请参考相关文档，配置起效hdfs，则input和output目录都放到hdfs中，实现正在的基于hdfs高层文件格式之上的分布式；但因为实在一台PC或虚拟机的Ubuntu上操作，所以叫伪分布式，任务并未分发给不同的PC节点！ 2伪分布式安装的yarn说明： 伪分布式允许可单独靠hadoop；也可升级安装yarn来支持hadoop，则有更方便查看的web界面来观察yarn的分布式允许； 3分布式安装说明： 请虚拟或实际配置至少2或多个PC节点，来测试真实分布式hadoop系统；配置和允许和伪分布式差不多，只是多了ssh/SCP/HOSTNAME配置等内容，原理类似； 4单点和伪分布式切换：   备份并确保文件（mapred-site.xml.template）不存在；备份并确保文件（core-site.xml）为初始状态，就是“configuration标签内部是空的！”；则可以按照单点模型运行mapreduce的WordCount例子，并在单点所在的ext4的Ubuntu系统内发现output文件输出（而不会输出到hdfs上）； 5伪分布式是否启动YARN：   按正常命令关闭YARN；备份并确保文件（mapred-site.xml.template）不存在；则会运行不带YARN的伪分布式模式，否则即使不启动yarn，run的时候也会出错！ 6伪分布式和分布式切换： 两者无本质区别，只是将namenode，datanode，hdfs，各类manager等网元配置分不到不同的PC上而已；其实“伪分布式模型”等价于启动hadoop+hdfs+yarn的最小网元集合，而网元们都指向或曰安装在同一个PC上。 1.      从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件； 2.      在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

 

 

5.   其他补充

6.1   LINUX经验

6.1.1      开启bash的自动完成功能

$sudo vim /etc/bash.bashrc   //修改此文件；按需输入密码

 

找到文件中的如下脚本片段，去掉本小节第一行外的所有前导#号；

这就开启了目录/文件自动补全和完成的智能功能，大大提升terminal中bash命令的运行效率。

 

#enable bash completion in interactive shells

#if ! shopt -oq posix; then

#      if [-f  /usr/share/bash-completion/bash_completion ]; then

#          . /usr/share/bash-completion/bash_completion

#      elif [ -f /etc/bash_completion]; then

#           . /etc/bash_completion

#      fi

#fi

 

6.1.2      开启ubuntu虚拟机和win10宿主机的vmware tool（共享文件）

如果不是真实PC，而是用虚拟机且是VMware，那么可以安装VMware tool，并使用共享目录，在宿主机和虚拟机上传递文件，拷贝文字等；

网络连接：http://blog.csdn.net/zybasjj/article/details/7401808 （VMware虚拟机安装Ubuntu使用share folders共享windows目录的方法）

 

步骤：

1.关闭ubuntu虚拟机后，在虚拟机配置中设定CD/DVD-ROM指向vmware安装目录下的”linux.iso”(如果是win虚拟机则指向windows.iso)；

2.启动ubuntu虚拟机发现taskbar上有VMware Tools的光盘图标；双击查看；

3.发现多个文件，比如：manifest.txt和 VMwareTools-10.0.5-3228253.tar.gz等，将套们都拷贝到 /tmp 下；

4.进入cd /tmp；并解压缩tar zxvf VMwareTools-8.4.5-324285.tar.gz；

5.进入cd vmware-tools-distrib（进入解压后对应文件夹）；

6.sudo ./vmware-install.pl 命令来安装VMware tool；会提示输入登陆用户的密码；然后有不断的提示，主要都按回车，最后会出现： Enjoy, 　　--the VMware team，就算按照完毕！

7.在宿主机（比如win10）上对vmware中的ubuntu虚拟机的配置中“共享目录”进行设定，一般不勾选只读；进入ubuntu虚拟机后会在 /mnt/hgfs/xxx 下发现win10上的文件了！（xxx就是win10宿主机上设定的共享目录）

8.注意win和linux的文件结尾不同，尤其是带回车换行的文本文件等；二进制文件可能好点；

 

6.1.3      Ubuntu的Terminal快捷方式

Ubuntu下Ctrl+Alt+T调用出Terminal界面。

6.1.4      Find命令举例

sudo find / -name 'mapred-site.xml' //在根目录查找此文件名的文件

6.1.5      PATH变量简述

 

可执行 echo $PATH（或export $PATH，看用的什么shell环境了） 查看它是包含了很多目录的字符串。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若没有匹配的则提示该命令不存在）。

我们一般先进入/usr/local/hadoop 目录中，再执行 sbin/hadoop，实际上等同于运行 /usr/local/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中，这样就可以直接通过 start-dfs.sh 开启 Hadoop，也可以直接通过 hdfs 访问 HDFS 的内容，方便平时的操作。

我们如果在 ~/.bashrc 中设置PATH，比如“export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin”，并用source ~/.bashrc使设置生效；之后在任意目录中，都可以直接使用 hdfs 等命令。比较方便。

 

6.1.6      Ubuntu中安装vmware tools

如果要升级或安装，可以通过$sudo apt-get install open-vm-tools 来安装和升级；

也可以从网络下载“linux.iso”的vmware tools的镜像光盘，放入虚拟机的DVD/CDROM中，启动后多出一个盘，位于“/media/username/VMware tool/”目录中，然后将“VMwareTools-10.0.0-2977863.tar.gz”文件拷贝到比如/tmp目录，解压并运行“./install.pl”就能安装了。

别忘记启动虚拟机配置中设定外界的宿主系统（比如WIN10）的一个目录（比如叫sharedfolder）为共享目录，进入虚拟机后，自动mount挂在到“/mnt/hgfs/sharedfolder”这样可以共享文件了。

 

6.2   杂

6.2.1      如何保存被禁止拷贝或存盘的HTML？

当html或mht等页面禁止保存或拷贝内容的时候，可以查看源码并保存为html后缀文件。

然后本地打开拷贝黏贴其内容。

如果是zh-cn而非通用的3字节utf-8编码，则可以用诸如notepad++等软件打开html并转换为utf8，保存再次打开，就能拷贝黏贴了。

 

 

6.   资料

本文内容是笔者从网络资料中收集，整理，实践，修订，备注而成。

一为整理学习，方便以后查阅参考；

二为方便他人学习交流之用；

以下罗列资料只有部分研究过，仅供参考，并无倾向性推荐。

 

 

感谢开放的网络。感谢网络上各位的分享！

ubuntu15.04安裝hadoop2.6.0及eclipse开发环境配置：http://www.linuxdiyf.com/linux/12474.html

Ubuntu15.04单机/伪分布式安装配置Hadoop与Hive试验机：http://www.linuxdiyf.com/linux/11858.html

Ubuntu下安装Hadoop（单机版）：http://www.linuxdiyf.com/linux/11372.html

 

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

http://www.micmiu.com/bigdata/hadoop/hadoop-2x-ubuntu-build/

http://www.powerxing.com/install-hadoop/ 笔记Hadoop

 

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS

Hadoop-in-Practice第四章MapReduce-Join代码运行问题

Hadoop安装配置简略教程

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

 

大数据教材推荐

林子雨老师（研究生导师）编著的《大数据技术原理与应用》，该教程是针对高校学生打造的入门级教材，目前已被多所高校作为大数据课程指定教材。

林子雨编著《大数据技术原理与应用》官网

林子雨主讲入门级大数据在线课程（视频）

《大数据技术原理与应用》教材配套学习指南

《大数据技术原理与应用》教材配套上机练习题目