1. 相关软件
VMwave6，RedHat5 32bit，JDK6，Hadoop1.2
2. 集成环境搭建步骤
2.1 安装虚拟机
安装过程出现错误：
setup has detected vmware software running on this machine
解决方式：
打开TASK管理器，终止进程里VM相关的进程
出处：
http://zhidao.baidu.com/question/206989601.html?fr=qrl&cid=89&index=1
虚拟机配置：
网络：NAT
硬盘：30G
内存：512M
2.2 安装RedHat系统
关闭防火墙，创建用户hadoop，配置固定IP 192.168.153.128，在/etc/hosts中加入下列内容
192.168.153.1 host 192.168.153.128 master 192.168.153.129 node0 192.168.153.130 node1
2.3 安装JDK6和Hadoop1.2到/usr/local目录下
配置环境变量，在/etc/profile中加入下列内容，执行source profile
#set JDK evn JAVA_HOME=/usr/local/jdk1.6.0_25 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH CLASSPATH #set Hadoop evn HADOOP_HOME=/usr/local/hadoop-1.2.1 PATH=$PATH:$HADOOP_HOME/bin export PATH
2.4 配置Hadoop（$Hadoop/conf/）
hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.6.0_25
masters
node0
slaves
node0 node1
core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:8280</value> <final>true</final> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.checkpoint.dir</name> <value>/home/hadoop/hdfs/checkpoint</value> <final>true</final> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.http.address</name> <value>master:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>node0:50090</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>master:8021</value> </property> <property> <name>mapred.local.dir</name> <value>/home/hadoop/mapred/local</value> </property> <property> <name>mapred.system.dir</name> <value>/home/hadoop/mapred/system</value> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx200m</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> </configuration>
2.4 克隆两份虚拟机node0，node1，更改网络配置
Linux关机命令
shutdown -h now
2.5 配置SSH免登录
-- 登录master，构建.ssh目录
mkdir .ssh cd .ssh
-- 构建SSH公匙/私匙对，不输入密码直接按回车
ssh-keygen -t rsa
-- 复制一份公匙
cat id_rsa.pub >> authorized_keys
-- 将公匙传送到slaves中
scp ~/.ssh/authorized_keys hadoop@node0:/home/hadoop/ scp ~/.ssh/authorized_keys hadoop@node1:/home/hadoop/
-- 将slave中的公匙复制到指定位置
mkdir .ssh cat ~/authorized_keys >> ~/.ssh/authorized_keys rm authorized_keys
-- 权限设置
chmod 755 ~ chmod 755 ~/.ssh chmod 644 ~/.ssh/authorized_keys chmod 644 ~/.ssh/id_rsa.pub chmod 600 ~/.ssh/id_rsa
-- 测试
ssh node0 ssh node1
2.6 HDFS初始化
hadoop namenode -format
2.7 启动Hadoop
start-all.sh
-- 验证
jps
-- 验证结果
master
3439 NameNode 3679 Jps 3591 JobTracker
node0
3475 TaskTracker 3391 SecondaryNameNode 3322 DataNode 3530 Jps
node1
3422 Jps 3369 TaskTracker 3293 DataNode
2.8 运行基准测试
-- 使用TestNFSIO来测试HDFS
hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 2 -fileSize 10 hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -read -nrFiles 2 -fileSize 10 hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -clean
-- 使用Sort程序测试MapReduce
hadoop jar $HADOOP_HOME/hadoop-examples-*.jar randomwriter -Dtest.randomwriter.maps_per_host=1 -Dtest.randomwrite.bytes_per_map=1048576 random-data hadoop jar $HADOOP_HOME/hadoop-examples-*.jar sort random-data sorted-data hadoop jar $HADOOP_HOME/hadoop-test-*.jar testmapredsort -sortInput random-data -sortOutput sorted-data
3. 使用HTTP访问Hadoop
Map/Reduce http://master:50030/
HDFS http://master:50070/
4. eclipse插件安装
-- 下载eclipse hadoop plugin 1.2.1 (版本一定要匹配)
-- 安装插件
-- 配置
-- 查看HDFS
