hadoop2.5.2学习及实践笔记（一）—— 伪分布式学习环境搭建

软件

　　工具：vmware 10

　　系统：centOS 6.5  64位

　　Apache Hadoop: 2.5.2  64位

　　Jdk:  1.7.0_75  64位

安装规划

　　/opt/softwares/       ************* 软件包路径

　　      /modules/　　　*************  软件安装路径

安装准备

　　1. 安装并配置jdk

# cd /opt/softwares/       --进入到软件包目录 # tar -zxvf jdk-7u75-linux-x64.tar.gz   --解压jdk tar包 # mv jdk1.7.0_75/ /opt/modules/  --复制到软件安装目录 # vi /etc/profile   --配置环境变量，在文件最后添加如下配置 export JAVA_HOME=/opt/modules/jdk1.7.0_75 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin # source /etc/profile  --使环境变量立即生效 # java -version  --检查配置

　　

　　

 

 

 

 

 

 

 

　　2. 创建用户账号

# groupadd hadoop   --添加hadoop用户组 # useradd -g hadoop hadoop  --添加hadoop用户并添加到hadoop组中 # passwd hadoop  --为hadoop用户设置密码

　　

 

 

 

安装hadoop

　　1. 解压hadoop

# tar -zxvf hadoop-2.5.2.tar.gz  --解压tar包 # mv hadoop-2.5.2 /opt/modules/  --复制到安装目录 # cd /opt/modules/ # chown -R hadoop:hadoop hadoop-2.5.2  --修改用户和组

 

 

 

 

 

　　2. 配置环境变量

# vi /etc/profile  



export HADOOP_HOME=/opt/modules/hadoop-2.5.2

export PATH=$PATH:$HADOOP_HOME/bin



# source /etc/profile 

# hadoop version  --检查配置 Hadoop 2.5.2

Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r cc72e9b000545b86b75a61f4835eb86d57bfafc0

Compiled by jenkins on 2014-11-14T23:45Z

Compiled with protoc 2.5.0

From source with checksum df7537a4faa4658983d397abf4514320

This command was run using /opt/modules/hadoop-2.5.2/share/hadoop/common/hadoop-common-2.5.2.jar



# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar pi 100 100 --解压后无需配置即可运行于独立模式下，例：计算π值

 

　　3. 配置SSH免密码登陆　　

　　hadoop用户下执行

$  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $  chmod 644 authorized_keys  --权限修改为rw-r-r

 

 

 

　　4. 配置hdfs

　　a. 修改hadoop-2.5.2/etc/hadoop目录下配置文件

　　> hadoop-env.sh

# vi hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_75  --显式配置JAVA_HOME，而非使用JAVA_HOME=${JAVA_HOME}

 

 

 

　　>core-site.xml

# vi core-site.xml <configuration>     <property>      --指定文件系统及主机、端口         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     </property> </configuration>

 

 

　

 

 

 

 

 

　　>hdfs-site.xml

# vi hdfs-site.xml <configuration>     <property>  --配置副本数量，默认为3，伪分布式下若不配置，则会提示副本数不足         <name>dfs.replication</name>         <value>1</value>     </property> </configuration>

 

 

 

 

 

 

 

 

　　b. 格式化文件系统

$ mkdir -p /opt/data/hadoop/hdfs/name    --创建namenode文件存储目录 $ mkdir -p /opt/data/hadoop/hdfs/data     --创建datanode数据存储目录 $ vi hdfs-site.xml <property>   --默认存储在/tmp/hadoop-hadoop/dfs/name目录下，清空缓存时，集群数据丢失，且无法重建，后果非常严重         <name>dfs.namenode.name.dir</name>         <value>/opt/data/hadoop/hdfs/name</value> </property> <property>         <name>dfs.datanode.data.dir</name>         <value>/opt/data/hadoop/hdfs/data</value> </property>   $ hdfs namenode –format

 

 

 

 

 

 

 

 

 

 

 

 

　　c. 启动namenode和datanode守护进程

$ ./sbin/start-dfs.sh   --启动hdfs $ jps   --进程查看 SecondaryNameNode    Jps DataNode NameNode

 

 

 

 

 

 

　　通过访问localhost:50070访问namenode web页面

 

 

　　5. 启动yarn

　　a. 修改hadoop-2.5.2/etc/hadoop目录下配置文件

 　　> mapred-site.xml

$ cp mapred-site.xml.template mapred-site.xml  --复制模板文件，并命名为mapred-sit.xml $ vi mapred-site.xml <property>   --local:本地作业运行器  classic:经典mapreduce框架  yarn:新框架         <name>mapreduce.framework.name</name>         <value>yarn</value> </property>

 

 

 

 

 

 

 

 

　　>yarn-site.xml

$ vi yarn-site.xml <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value> </property>

 

 

 

 

 

 

　　b. 启动yarn

$ ./sbin/start-yarn.sh $ jps SecondaryNameNode    Jps DataNode NameNode ResourceManager NodeManager

 

 

 

 

 

 

 

 

　　通过localhost:8088访问ResourceManager web页面