hadoop 0.22.0 部署笔记

为什么80%的码农都做不了架构师？>>>

因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。

环境：redhat5 、 hadoop-0.22.0.tar.gz 、 jdk-6u13-linux-i586.zip

ip 192.168.1.128

hostname：localhost.localdomain

（hostname很重要）

新建一个用户 user：hbase pwd：hbase

PATH=/home/hbase/hadoop-0.22.0

1.安装配置java1.6(不累述)。配置完毕后，在命令行中输入java -version，如出现下列信息说明java环境安装成功。
java version "1.6.0_20"
Java(TM) SE Runtime Environment (build 1.6.0_20-b02)
Java HotSpot(TM) Server VM (build 16.3-b01, mixed mode)

2.下载hadoop-0.20.2.tar.gz,放在用户根目录下，例如：/home/hbase/hadoop-0.22.0：
下载地址：http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-0.22.0/

解压：tar –zvxf hadoop-0.22.0.tar.gz

3.配置hadoop，hadoop 的主要配置都在hadoop-0.22.0/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境以及HADOOP_HOME、PATH，例如
export JAVA_HOME=/usr/java/jdk1.6.0_13
export HADOOP_HOME=/home/hbase/hadoop-0.22.0

(2)配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml

配置例子详见：

core-site.xml








fs.default.name
hdfs://192.168.1.128:9000/

hdfs-site.xml








dfs.replication
1





//默认是：/tmp/hadoop-{user.name}/dfs/data(name)

 
dfs.name.dir
/home/hbase/hadoop-0.22.0/tmpdir/hdfs/name 
 

 
dfs.data.dir 
/home/hbase/hadoop-0.22.0/tmpdir/hdfs/data 


-->

mapred-site.xml








mapred.job.tracker
192.168.1.128:9001

master文件

192.168.1.128

slaves文件

192.168.1.128

4.格式化namenode、datanode

command:

bin/hadoop namenode -format

bin/hadoop datanode -format

5.启动hadoop所有进程:bin/start-all.sh，我这边没有进行SSH无密码验证配置，所有namenode、datanode等的启动都需要输入用户登录linux的密码

6.查看hadoop进程启动情况:jps。正常情况下应该有NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

7.配置hadoop的环境变量

vi etc/profile

JAVA_HOME=/usr/java/jdk1.6.0_13
HADOOP_HOME=/home/hbase/hadoop-0.22.0
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export HADOOP_HOME
export PATH
export CLASSPATH

8.查看hadoop使用状况：

hadoop dfsadmin -report

9.启动之后查看 $HADOOP_HOME/logs

logs目录下有三个log

三个log分别跟表示一个部分，只有当所有的logs都没有exception才算启动成功

[hbase@localhost bin]$ jps

4643 Jps

4599 SecondaryNameNode

4360 NameNode

10. 关闭守护进程

.关闭hdfs守护进程

bin/stop-dfs.sh

关闭mapreduce守护进程
bin/stop-mapred.sh

hadoop 0.22.0 部署笔记

你可能感兴趣的:(大数据,java,运维)