how to install hadoop2.0.0 for centos6.4

1.JAVA INSTALL(root)
># mkdir /usr/JAVA
>#./jdk-6u45-linux-i586.bin
># vim /etc/profile
export JAVA_HOME=/usr/JAVA/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
># source /etc/profile

mkdir -p /hadoop/hdfs
mkdir -p /hadoop/tmp
mkdir -p /hadoop/log
设置可写权限
chmod -R 777 /hadoop

2.close firewall(root)

temp closed:
#/etc/init.d/iptables status            ##query status
#/etc/init.d/iptable stop
#/etc/init.d/iptable restart            ##重启防火墙

forever closed:
chkconfig --level 35 iptables off
reboot

3.host ip
a.连接到主节点 192.168.1.201 ,修改 network , 执行 vim /etc/sysconfig/network ,修改 HOSTNAME=master
b.修改 hosts 文件, 执行 cd /etc 命令后 执行 vi hosts ,在行末尾添加 :
192.168.1.105   master
192.168.1.106   slave1
其他节点也修改主机名后添加 Host, 或者 host 文件可以在后面 执行 scp 覆盖操作

4.ssh config
a.用root登陆,建立hadoop用户
useradd hadoop
passwd password

b.ssh config具体步 骤(在root用户和hadoop用户登陆情况下执行)
1 、执行命令 ssh-keygen -t rsa 之后一路回 车,查看刚生成的无密码钥对: cd .ssh 后 执行 ll
2 、把 id_rsa.pub 追加到授权的 key 里面去。 执行命令 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
3 、修改权限: 执行 chmod 600 ~/.ssh/authorized_keys
4 、确保 cat /etc/ssh/sshd_config 中存在如下内容
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys
如需修改, 则在修改后执行重启 SSH 服 务命令使其生效 :service sshd restart
5 、将公 钥复制到所有的 slave 机器上 :scp ~/.ssh/id_rsa.pub 192.168.1.106 : ~/  然后 输入 yes ,最后 输入 slave 机器的密 码
6 、在 slave 机器上 创建 .ssh 文件夹 :mkdir ~/.ssh 然后 执行 chmod 700 ~/.ssh (若文件夹以存在 则不需要创建)
7 、追加到授权文件 authorized_keys 执行命令 :cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 然后 执行 chmod 600 ~/.ssh/authorized_keys
8 、重复第 4 步
9 、 验证命令 : 在 master 机器上 执行 ssh 192.168.1.106 发现主机名由 master 变成 slave1即成功,最后 删除 id_rsa.pub 文件 :rm -r id_rsa.pub
按照以上步 骤分别配置 master,slave1 ,要求每个都可以无密码登录

5.hadoop install
解压目录
tar zxvf hadoop-2.0.0-alpha.tar.gz

创建软连接
cd /home/hadoop
ln -s /home/hadoop/source/hadoop-2.0.0-alpha/ ./hadoop

源码配置修改

/etc/profile

配置 环境变量: vim /etc/profile
添加
export HADOOP_DEV_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop


创建并配置hadoop-env.sh

vim /usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop/hadoop-env.sh
在末尾添加 export JAVA_HOME=/usr/java/jdk1.6.0_45

 core-site.xml

在 configuration 节点 里面添加属性

<property>
 <name>hadoop.tmp.dir</name>
 <value>/hadoop/tmp</value>
 <description>A base for other temporary directories.</description>
 </property>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://192.168.1.105:9000</value>
 </property>
 
添加 httpfs 的 选项
<property>
 <name>hadoop.proxyuser.root.hosts</name>
 <value>192.168.1.105</value>
 </property>
 <property>
 <name>hadoop.proxyuser.root.groups</name>
 <value>*</value>
 </property>


slave配置

vim /home/hadoop/hadoop/etc/hadoop/slaves
添加 slave 的 IP
192.168.1.106

配置hdfs-site.xml

vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml
添加节点

<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/hadoop/hdfs/name</value>
 <final>true</final>
</property>

<property>
 <name>dfs.federation.nameservice.id</name>
 <value>ns1</value>
</property>

<property>
 <name>dfs.namenode.backup.address.ns1</name>
 <value>192.168.1.105:50100</value>
</property>

<property>
 <name>dfs.namenode.backup.http-address.ns1</name>
 <value>192.168.1.105:50105</value>
</property>

<property>
 <name>dfs.federation.nameservices</name>
 <value>ns1</value>
</property>

<property>
 <name>dfs.namenode.rpc-address.ns1</name>
 <value>192.168.1.105:9000</value>
</property>
<property>
 <name>dfs.namenode.rpc-address.ns2</name>
 <value>192.168.1.105:9000</value>
</property>

<property>
 <name>dfs.namenode.http-address.ns1</name>
 <value>192.168.1.105:23001</value>
</property>

<property>
 <name>dfs.namenode.http-address.ns2</name>
 <value>192.168.1.105:13001</value>
</property>

<property>
 <name>dfs.dataname.data.dir</name>
 <value>file:/hadoop/hdfs/data</value>
 <final>true</final>
</property>

<property>
 <name>dfs.namenode.secondary.http-address.ns1</name>
 <value>192.168.1.105:23002</value>
</property>

<property>
 <name>dfs.namenode.secondary.http-address.ns2</name>
 <value>192.168.1.105:23002</value>
</property>

<property>
 <name>dfs.namenode.secondary.http-address.ns1</name>
 <value>192.168.1.105:23003</value>
</property>

<property>
 <name>dfs.namenode.secondary.http-address.ns2</name>
 <value>192.168.1.105:23003</value>
</property>


配置yarn-site.xml

添加 节点

<property>
 <name>yarn.resourcemanager.address</name>
 <value>192.168.1.105:18040</value>
</property>

<property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>192.168.1.105:18030</value>
</property>

<property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>192.168.1.105:18088</value>
</property>

<property>
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>192.168.1.105:18025</value>
</property>

<property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>192.168.1.105:18141</value>
</property>

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce.shuffle</value>
</property>


6.同步代码到其他机器

a.同步配置代 码
先在 slaves 的机器上也 创 建
mkdir -p /home/hadoop/source
部署hadoop代 码 ,创 建 软连接 ,然后只要同步修改 过 的etc/hadoop下的配置文件即可
b.同步 /etc/profile
c.同步 /etc/hosts
scp -r /etc/profile root@slave1:/etc/profile
scp -r /etc/hosts root@slave1:/etc/hosts

7.Hadoop启动
格式化集群
hadoop namenode -format -clusterid clustername

启动hdfs执行
start-dfs.sh

启动Yarn
start-yarn.sh

启动httpfs
httpfs.sh start
使得 对外 可以提高 http 的restful接口服 务

测试

7.安装结果验证

a.验证hdfs

在各台机器 执行 jps 看 进程 是否都已经启动了

[root@hadoop1 hadoop]# jps
7396 NameNode     --dfs
24834 Bootstrap    --httpfs
7594 SecondaryNameNode  --dfs
7681 ResourceManager   --yarn
32261 Jps

[root@hadoop2 ~]# jps
8966 Jps
31822 DataNode    --dfs
31935 NodeManager  --yarn

进程启动 正常

验证 是否可以登 陆
hadoop fs -ls hdfs://192.168.1.105:9000/
hadoop fs -mkdir hdfs://192.168.1.105:9000/testfolder
hadoop fs -copyFromLocal ./test.txt hdfs://192.168.1.105:9000/testfolder ---error
hadoop fs -ls hdfs://192.168.1.105:9000/ testfolder

看以上 执行是否正常


b.验证map/reduce

在 master上, 创建输入目录 :hadoop fs -mkdir hdfs://192.168.1.105:9000/input
将 /usr/hadoop/hadoop-2.0.1-alpha/ 目 录下的所有 txt 文件复制到 hdfs 分布式文件系 统的目录里,执行以下命令
hadoop fs -put /usr/hadoop/hadoop-2.0.0-alpha/*.txt hdfs://192.168.1.105:9000/input

在 master上, 上, 执行 HADOOP 自 带的例子, wordcount 包,命令如下
cd /usr/hadoop/hadoop-2.0.0-alpha/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount hdfs://192.168.1.105:9000/input hdfs://192.168.1.105:9000/output
hadoop fs -put /usr/hadoop/hadoop-2.0.0-alpha/*.txt hdfs://192.168.1.105:9000/input

在 master 上, 查看结果命令如下 :
[root@master hadoop]# hadoop fs -ls hdfs://192.168.1.105:9000/output
[root@master hadoop]# hadoop fs -cat  hdfs://192.168.1.105:9000/output/part-r-00000
即可看到每个 单词的数量

c.验证httpfs

HTTPFS操作:

OPEN,GETFILESTATUS,LISTSTATUS,GETHOMEDIRECTORY,GETCONTENTSUMMARY,GETFILECHECKSUM,GETDELEGATIONTOKEN,GETFILEBLOCKLOCATIONS,INSTRUMENTATION

GETHOMEDIRECTORY 路径无关,返回根 节点路径
http://192.168.1.105:14000/webhdfs/v1/yxq?op=GETHOMEDIRECTORY&user.name=root
Path: "/user/root"

http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETHOMEDIRECTORY&user.name=root

打开下 载一个文件
http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=open&user.name=root

LISTSTATUS 现实目录状态

http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0?op=LISTSTATUS&user.name=root
http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=LISTSTATUS&user.name=root


GETFILESTATUS 显示文件的状态
http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILESTATUS&user.name=root

如果是路径 则现实路径信息
http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/?op=GETFILESTATUS&user.name=root
http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILESTATUS&user.name=root

GETCONTENTSUMMARY 获取路径下的信息
http://192.168.1.105:14000/webhdfs/v1/yxq?op=GETCONTENTSUMMARY&user.name=root

GETFILECHECKSUM 获取文件的校验值
http://192.168.1.105:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILECHECKSUM&user.name=root


8.常遇问题解决办法
a.目录权限
b.防火墙没有关闭

你可能感兴趣的:(hadoop,Install)