hadoop - 环境搭建

参考

1.Hadoop大数据平台架构与实践--基础篇

相关软件

• ubuntu
• jdk
• hadoop-1.2.1

环境搭建

1. jdk

i. 安装
# 安装位置：/usr/lib/jvm/... sudo apt-get install -y openjdk-7-jdk
ii. 添加配置
- 编辑 /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
- 启用 /etc/profile
source /etc/profile

2. 安装hadoop

i. 下载
hadoop-1.2.1-bin.tar.gz
ii. 解压
tar xvf hadoop-1.2.1-bin.tar.gz

3. 配置hadoop

i. 进入hadoop-1.2.1/conf
ii. 编辑 hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
iii. 编辑 core-site.xml
hadoop.tmp.dir /hadoop dfs.name.dir /hadoop/name fs.default.name hdfs://localhost:9000
iv. 编辑 hdfs-site.xml
dfs.data.dir /hadoop/data
v. 编辑 mapred-site.xml
mapred.job.tracker localhost:9001
vi. 编辑 /etc/profile
```

JAVA、Hadoop 配置一起的

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/home/ming/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
vii. 启用配置
source /etc/profile
```
viii. 配置是否成功
运行命令 jps，查看是否6个进程都启动成功

jps结果

4. 常用命令

i. 启动
> start-all.sh

ii. 终止
> stop-all.sh

iii. 集群格式化namenode
> hadoop namenode -format

iv. 查看任务
> jps

问题

1. 配置无密码启动、退出
   Hadoop启动时SSH免密码登录

2. Namenode 无法启动
   万能方法：
     去查看 hadoop-1.2.1/logs下相应的文件
   可能原因：

   • 9000端口被占用
   • 文件夹无权限