1)官方网址
(1)官方网站:
http://hadoop.apache.org/
(2)各个版本归档库地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
(3)hadoop2.7.2版本详情介绍
http://hadoop.apache.org/docs/r2.7.2/
2)Hadoop运行模式
(1)本地模式(默认模式):
不需要启用单独进程,直接可以运行,测试和开发时使用。
(2)伪分布式模式:
等同于完全分布式,只有一个节点。
(3)完全分布式模式:
多个节点一起运行。
1)创建在hadoop-2.7.2文件下面创建一个input文件夹
[itstar@hadoop101 hadoop-2.7.2]$mkdir input
2)将hadoop的xml配置文件复制到input
[itstar@hadoop101 hadoop-2.7.2]$cpetc/hadoop/*.xml input
3)执行share目录下的mapreduce程序
[itstar@hadoop101 hadoop-2.7.2]$ bin/hadoopjar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrep input output 'dfs[a-z.]+'
4)查看输出结果
[itstar@hadoop101 hadoop-2.7.2]$ cat output/*
1)创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
[itstar@hadoop101 hadoop-2.7.2]$mkdir wcinput
2)在wcinput文件下创建一个wc.input文件
[itstar@hadoop101 hadoop-2.7.2]$cd wcinput
[itstar@hadoop101 wcinput]$touch wc.input
3)编辑wc.input文件
[itstar@hadoop101 wcinput]$vim wc.input 在文件中输入如下内容 hadoop yarn hadoop mapreduce itstar itstar 保存退出::wq |
4)回到hadoop目录/opt/module/hadoop-2.7.2
5)执行程序:
[itstar@hadoop101 hadoop-2.7.2]$ hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinputwcoutput
6)查看结果:
[itstar@hadoop101 hadoop-2.7.2]$catwcoutput/part-r-00000
itstar 2
hadoop 2
mapreduce 1
yarn 1
1)分析:
(1)准备1台客户机
(2)安装jdk
(3)配置环境变量
(4)安装hadoop
(5)配置环境变量
(6)配置集群
(7)启动、测试集群增、删、查
(8)执行wordcount案例
2)执行步骤
需要配置hadoop文件如下
(1)配置集群
(a)配置:hadoop-env.sh
Linux系统中获取jdk的安装路径:
[root@ hadoop101 ~]#echo $JAVA_HOME
/opt/module/jdk1.8.0_144
修改JAVA_HOME 路径:
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
(b)配置:core-site.xml
|
(c)配置:hdfs-site.xml
|
(2)启动集群
(a)格式化namenode(第一次启动时格式化,以后就不要总格式化)
[[email protected]]$ bin/hdfs namenode -format
(b)启动namenode
[[email protected]]$ sbin/hadoop-daemon.sh start namenode
(c)启动datanode
[[email protected]]$ sbin/hadoop-daemon.sh start datanode
(3)查看集群
(a)查看是否启动成功
[[email protected]]$ jps
13586 NameNode
13668 DataNode
13786 Jps
(b)查看产生的log日志
当前目录:/opt/module/hadoop-2.7.2/logs
[itstar@hadoop101 logs]$ ls
hadoop-itstar-datanode-hadoop.itstar.com.log
hadoop-itstar-datanode-hadoop.itstar.com.out
hadoop-itstar-namenode-hadoop.itstar.com.log
hadoop-itstar-namenode-hadoop.itstar.com.out
SecurityAuth-root.audit
[itstar@hadoop101 logs]#cat hadoop-itstar-datanode-hadoop101.log
(c)web端查看HDFS文件系统
http://192.168.1.101:50070/dfshealth.html#tab-overview
注意:如果不能查看,看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html
(4)操作集群
(a)在hdfs文件系统上创建一个input文件夹
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -mkdir -p /user/itstar/input
(b)将测试文件内容上传到文件系统上
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -put wcinput/wc.input /user/itstar/input/
(c)查看上传的文件是否正确
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -ls /user/itstar/input/
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -cat /user/itstar/ input/wc.input
(d)运行mapreduce程序
[[email protected]]$ bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/itstar/input//user/itstar/output
(e)查看输出结果
命令行查看:
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -cat /user/itstar/output/*
浏览器查看
(f)将测试文件内容下载到本地
[itstar@hadoop101 hadoop-2.7.2]$ hadoopfs -get /user/itstar/ output/part-r-00000 ./wcoutput/
(g)删除输出结果
[itstar@hadoop101 hadoop-2.7.2]$ hdfsdfs -rmr /user/itstar/output
1)分析:
(1)准备1台客户机
(2)安装jdk
(3)配置环境变量
(4)安装hadoop
(5)配置环境变量
(6)配置集群yarn上运行
(7)启动、测试集群增、删、查
(8)在yarn上执行wordcount案例
2)执行步骤
(1)配置集群
(a)配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
(b)配置yarn-site.xml
|
(c)配置:mapred-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
[itstar@hadoop101 hadoop]$ mvmapred-site.xml.template mapred-site.xml
[itstar@hadoop101 hadoop]$ vimapred-site.xml
|
(2)启动集群
(a)启动resourcemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart resourcemanager
(b)启动nodemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart nodemanager
(3)集群操作
(a)yarn的浏览器页面查看
http://192.168.1.101:8088/cluster
(b)删除文件系统上的output文件
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -rm -R /user/itstar/output
(c)执行mapreduce程序
[[email protected]]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount /user/itstar/input /user/itstar/output
(d)查看运行结果
[itstar@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -cat /user/itstar/output/*
1)停止进程
[[email protected]]$ sbin/yarn-daemon.sh stop nodemanager
[[email protected]]$ sbin/yarn-daemon.sh stop resourcemanager
[[email protected]]$ sbin/hadoop-daemon.sh stop datanode
[[email protected]]$ sbin/hadoop-daemon.sh stop namenode
2)修改hadoop.tmp.dir
[core-site.xml]
|
3)将/opt/module/hadoop-2.7.2路径中的logs文件夹删除掉
[itstar@hadoop101 hadoop-2.7.2]$rm -rf logs/
4)进入到tmp目录将tmp目录中hadoop-itstar目录删除掉
[itstar@hadoop101tmp]$ rm -rf hadoop-itstar/
5)格式化NameNode
[itstar@hadoop101 hadoop-2.7.2]$ hadoopnamenode -format
6)启动所有进程
[itstar@hadoop101 hadoop-2.7.2]$sbin/hadoop-daemon.sh start namenode
[[email protected]]$ sbin/hadoop-daemon.sh start datanode
[[email protected]]$ sbin/yarn-daemon.sh start resourcemanager
[[email protected]]$ sbin/yarn-daemon.sh start nodemanager
7)查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。
1)配置mapred-site.xml
[itstar@hadoop101 hadoop]$ vi mapred-site.xml
|
2)查看启动历史服务器文件目录:
[[email protected]]$ ls sbin/ | grep mr
mr-jobhistory-daemon.sh
3)启动历史服务器
[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstart historyserver
4)查看历史服务器是否启动
[[email protected]]$ jps
5)查看jobhistory
http://192.168.1.101:19888/jobhistory
日志聚集概念:应用运行完成以后,将日志信息上传到HDFS系统上。
开启日志聚集功能步骤:
(1)配置yarn-site.xml
[itstar@hadoop101 hadoop]$ viyarn-site.xml
|
(2)关闭nodemanager 、resourcemanager和historymanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstop resourcemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstop nodemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstop historyserver
(3)启动nodemanager 、resourcemanager和historymanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart resourcemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart nodemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstart historyserver
(4)删除hdfs上已经存在的hdfs文件
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs-rm -R /user/itstar/output
(5)执行wordcount程序
[itstar@hadoop101 hadoop-2.7.2]$ hadoopjar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/itstar/input/user/itstar/output
(6)查看日志
http://192.168.1.101:19888/jobhistory
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
(1)默认配置文件:存放在hadoop相应的jar包中
[core-default.xml]
hadoop-common-2.7.2.jar/core-default.xml
[hdfs-default.xml]
hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
[core-default.xml]
hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml
(2)自定义配置文件:存放在$HADOOP_HOME/etc/hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
分析:
1)准备3台客户机(关闭防火墙、静态ip、主机名称)
2)安装jdk
3)配置环境变量
4)安装hadoop
5)配置环境变量
6)安装ssh
7)配置集群
8)启动测试集群
详见3.2-3.3章。
详见3.4章。
1)scp可以实现服务器与服务器之间的数据拷贝。
2)案例实操
(1)将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。
[root@hadoop101/]# scp -r /opt/module/ root@hadoop102:/opt
[root@hadoop101/]# scp -r /opt/software/ root@hadoop102:/opt
[root@hadoop101/]# scp -r /opt/module/ root@hadoop103:/opt
[root@hadoop101/]# scp -r /opt/software/ root@hadoop103:/opt
[root@hadoop101/]# scp -r /opt/module/ root@hadoop104:/opt
[root@hadoop101/]# scp -r /opt/software/ root@hadoop105:/opt
(2)将hadoop101服务器上的/etc/profile文件拷贝到hadoop102上。
[root@hadoop102opt]# scp root@hadoop101:/etc/profile /etc/profile
(3)实现两台远程机器之间的文件传输(hadoop103主机文件拷贝到hadoop104主机上)
[itstar@hadoop102test]$ scp itstar@hadoop103:/opt/test/haha itstar@hadoop104:/opt/test/
1)配置ssh
(1)基本语法
ssh 另一台电脑的ip地址
(2)ssh连接时出现Host keyverification failed的解决方法
[root@hadoop102 opt]#ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)'can't be established.
RSA key fingerprint iscf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting(yes/no)?
Host key verification failed.
(3)解决方案如下:直接输入yes
2)无密钥配置
(1)进入到我的home目录
[itstar@hadoop102 opt]$ cd ~/.ssh
(2)生成公钥和私钥:
[itstar@hadoop102 .ssh]$ ssh-keygen-t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(3)将公钥拷贝到要免密登录的目标机器上
[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop102
[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop103
[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop104
(4)在hadoop103、hadoop104上分别执行所有操作
3).ssh文件夹下的文件功能解释
(1)~/.ssh/known_hosts :记录ssh访问过计算机的公钥(publickey)
(2)id_rsa :生成的私钥
(3)id_rsa.pub :生成的公钥
(4)authorized_keys :存放授权过得无秘登录服务器公钥
rsync远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。
(1)查看rsync使用说明
man rsync | more
(2)基本语法
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
命令命令参数要拷贝的文件路径/名称 目的用户@主机:目的路径
选项
-r 递归
-v 显示复制过程
-l 拷贝符号连接
(3)案例实操
把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录
[itstar@hadoop102 opt]$ rsync -rvl/opt/tmp root@hadoop103:/opt/
1)需求分析:循环复制文件到所有节点的相同目录下。
(1)原始拷贝:
rsync -rvl /opt/module root@hadoop103:/opt/
(2)期望脚本:
xsync 要同步的文件名称
(3)在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行。
2)案例实操:
(1)在/usr/local/bin目录下创建xsync文件,文件内容如下:
[root@hadoop102 bin]# touchxsync
[root@hadoop102 bin]# vixsync
#!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi
#2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname
#3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir
#4 获取当前用户名称 user=`whoami`
#5 循环 for((host=103; host<105; host++)); do #echo $pdir/$fname $user@hadoop$host:$pdir echo --------------- hadoop$host ---------------- rsync -rvl $pdir/$fname $user@hadoop$host:$pdir done |
(2)修改脚本 xsync 具有执行权限
[root@hadoop102bin]# chmod 777 xsync
[root@hadoop102bin]# chown itstar:itstar -R xsync
(3)调用脚本形式:xsync 文件名称
[itstar@hadoop102opt]$ xsync tmp/
1)需求分析:在所有主机上同时执行相同的命令
xcall +命令
2)具体实现
(1)在/usr/local/bin目录下创建xcall文件,文件内容如下:
[root@hadoop102 bin]# touch xcall
[root@hadoop102 bin]# vi xcall
#!/bin/bash pcount=$# if((pcount==0));then echo no args; exit; fi
echo -------------localhost---------- $@ for((host=101; host<=108; host++)); do echo ----------hadoop$host--------- ssh hadoop$host $@ done |
(2)修改脚本xcall具有执行权限
[root@hadoop102bin]# chmod 777 xcall
[root@hadoop102bin]# chown itstar:itstar xcall
(3)调用脚本形式: xcall 操作命令
[root@hadoop102~]# xcall rm -rf /opt/tmp/
1)集群部署规划
|
hadoop102 |
hadoop103 |
hadoop104 |
HDFS
|
NameNode DataNode |
DataNode |
SecondaryNameNode DataNode |
YARN |
NodeManager |
ResourceManager NodeManager |
NodeManager |
2)配置文件
(1)core-site.xml
[itstar@hadoop102hadoop]$ vi core-site.xml
|
(2)Hdfs
hadoop-env.sh
[itstar@hadoop102hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
hdfs-site.xml
|
slaves
[itstar@hadoop102hadoop]$ vi slaves
hadoop102 hadoop103 hadoop104 |
(3)yarn
yarn-env.sh
[itstar@hadoop102 hadoop]$ viyarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
yarn-site.xml
[itstar@hadoop102 hadoop]$ viyarn-site.xml
|
(4)mapreduce
mapred-env.sh
[itstar@hadoop102 hadoop]$ vimapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
mapred-site.xml
[itstar@hadoop102 hadoop]$ vimapred-site.xml
|
3)在集群上分发以上所有文件
[itstar@hadoop102hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[itstar@hadoop102hadoop]$ xsync /opt/module/hadoop-2.7.2
4)查看文件分发情况
[itstar@hadoop102hadoop]$ xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves
1)启动集群
(0)如果集群是第一次启动,需要格式化namenode
[[email protected]]$bin/hdfsnamenode -format
(1)启动HDFS:
[[email protected]]$sbin/start-dfs.sh
[[email protected]]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[[email protected]]$ jps
3218 DataNode
3288 Jps
[[email protected]]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
(2)启动yarn
[[email protected]]$ sbin/start-yarn.sh
注意:Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。
2)集群基本测试
(1)上传文件到集群
上传小文件
[itstar@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p/user/itstar/tmp/conf
[itstar@hadoop102 hadoop-2.7.2]$ bin/hdfsdfs -put etc/hadoop/*-site.xml /user/itstar/tmp/conf
上传大文件
[[email protected]]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/itstar/input
(2)上传文件后查看文件存放在什么位置
文件存储路径
[itstar@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
查看文件内容
[itstar@hadoop102subdir0]$ cat blk_1073741825
hadoop
itstar
itstar
(3)拼接
-rw-rw-r--. 1 itstar itstar 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 itstar itstar 1048583 5月 23 16:01blk_1073741836_1012.meta
-rw-rw-r--. 1 itstar itstar 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 itstar itstar 495635 5月 23 16:01blk_1073741837_1013.meta
[itstar@hadoop102 subdir0]$cat blk_1073741836>>tmp.file
[itstar@hadoop102subdir0]$ cat blk_1073741837>>tmp.file
[itstar@hadoop102subdir0]$ tar -zxvf tmp.file
(4)下载
[[email protected]]$ bin/hadoop fs -get /user/itstar/input/hadoop-2.7.2.tar.gz
3)性能测试集群
写海量数据
读海量数据
1)各个服务组件逐一启动
(1)分别启动hdfs组件
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
(2)启动yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
2)各个模块分开启动(配置ssh是前提)常用
(1)整体启动/停止hdfs
start-dfs.sh
stop-dfs.sh
(2)整体启动/停止yarn
start-yarn.sh
stop-yarn.sh
3)全部启动(不建议使用)
start-all.sh
stop-all.sh
时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。
配置时间同步实操:
1)时间服务器配置(必须root用户)
(1)检查ntp是否安装
[root@hadoop102桌面]# rpm -qa|grep ntp
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
(2)修改ntp配置文件
[root@hadoop102桌面]# vi/etc/ntp.conf
修改内容如下
a)修改1
#restrict192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict192.168.1.0 mask 255.255.255.0 nomodify notrap
b)修改2
server0.centos.pool.ntp.org iburst
server1.centos.pool.ntp.org iburst
server2.centos.pool.ntp.org iburst
server3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c)添加3
server 127.127.1.0
fudge 127.127.1.0stratum 10
(3)修改/etc/sysconfig/ntpd 文件
[root@hadoop102 桌面]#vim /etc/sysconfig/ntpd
增加内容如下
SYNC_HWCLOCK=yes
(4)重新启动ntpd
[root@hadoop102桌面]# service ntpd status
ntpd 已停
[root@hadoop102桌面]# service ntpd start
正在启动 ntpd: [确定]
(5)执行:
[root@hadoop102桌面]# chkconfig ntpd on
2)其他机器配置(必须root用户)
(1)在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103 hadoop-2.7.2]# crontab -e
编写脚本
*/10 * * * */usr/sbin/ntpdate hadoop102
(2)修改任意机器时间
[root@hadoop103 hadoop]# date -s "2017-9-1111:11:11"
(3)十分钟后查看机器是否与时间服务器同步
[root@hadoop103 hadoop]# date
1)防火墙没关闭、或者没有启动yarn
INFO client.RMProxy:Connecting to ResourceManager at hadoop108/192.168.10.108:8032
2)主机名称配置错误
3)ip地址配置错误
4)ssh没有配置好
5)root用户和itstar两个用户启动集群不统一
6)配置文件修改不细心
7)未编译源码
Unableto load native-hadoop library for your platform... using builtin-java classeswhere applicable
17/05/2215:38:58 INFO client.RMProxy: Connecting to ResourceManager athadoop108/192.168.10.108:8032
8)datanode不被namenode识别问题
Namenode在format初始化的时候会形成两个标识,blockPoolId和clusterId。新的datanode加入时,会获取这两个标识作为自己工作目录中的标识。
一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别。
解决办法,删除datanode节点中的数据后,再次重新格式化namenode。
9)不识别主机名称
java.net.UnknownHostException: hadoop102: hadoop102 at java.net.InetAddress.getLocalHost(InetAddress.java:1475) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146) 在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1290) 在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1287) 在java.security.AccessController.doPrivileged(Native方法) 在javax.security.auth.Subject.doAs(Subject.java:415) |
解决办法:
(1)在/ etc / hosts文件中添加192.168.1.102 hadoop102
(2)主机名称不要起hadoop hadoop000等特殊名称
10)数据管理部和名称节点进程同时只能工作一个。
11)执行命令不生效,粘贴词中命令时,遇到 - 和长 - 没区分开。导致命令失效
解决办法:尽量不要粘贴字中代码。
12)JPS发现进程已经没有,但是重新启动集群,提示进程已经开启。原因是在Linux的的根目录下的/ tmp目录中存在启动的进程临时文件,将集群相关进程删除掉,再重新启动集群。
13)JPS不生效。
原因:全局变量hadoop java没有生效,需要source / etc / profile文件。
14)8088端口连接不上
[itstar @ hadoop102桌面] $ cat / etc / hosts
注释掉如下代码
#127.0.0.1 localhost localhost.localdomain localhost4localhost4.localdomain4
#:: 1 hadoop102