公司原来用awstats分析日志，但是当日志量大于4G时，分析会消耗很大时间。现在开始熟悉hadoop。
翻来覆去地装了好多遍hadoop。总结了一些安装方法。非常精简哟
 
一：hadoop
版本：hadoop-0.20.2.tar.gz
1.部署
1.1把hadoop-0.20.2.tar.gz部署到所有节点，通常部署在相同路径下。在conf/hadoop_env.sh里配置好java home，用bin/hadoop验证。
#######
更好地，编辑/etc/profile，加上下面这些
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre
export HADOOP_HOME=/usr/local/hadoop
export PIG_HOME=/usr/local/hadoop/pig-0.9.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$PIG_HOME/bin
#######
1.2在master端的keygen传到所有节点上。验证：用master ssh所有节点，不用输入密码就能登录。

1.3编辑conf/下的 masters slaves mapred-site.xml core-site.xml和hdfs-site.xml（可选）

masters和slaves分别写入master和slaves的节点ip，一行一个

mapred-site.xml 改成如下

    
         mapred.job.tracker
         masterIP:9001
    

core-site.xml 改成如下
    
         fs.default.name
         hdfs://masterIP:9000
    

hdfs-site.xml（可选） 改成如下：
dfs.replication
2
Default block replication
可以看到上面的定义的默认文件副本数是2（2），通常这个值也不会超过3.



把这4个文件复制到其他节点的相同路径下。

2.启动/关闭：bin/start-all.sh   bin/stop-all.sh


二：pig（下载pig时注意版本与hadoop版本）
于hadoop相同，解压后修改/etc/profile,
export PIG_HOME=/usr/local/hadoop/pig-0.9.1
export PATH=$PATH:$PIG_HOME/bin
可见，我的pig安装在/usr/local/hadoop/pig-0.9.1目录下的。
在pig/conf/pig.properties最后加上这两句话
mapred.job.tracker=192.168.1.1:9001
fs.default.name=hdfs://192.168.1.1:9000
他们要与hadoop的mapred-site.xml，core-site.xml这两个配置文件内容一致。
好了，试试吧。输入pig看看有没有刚刚配置的那两个变量hdfs和map-reduce job tracker的信息。

三：通过hadoop流向hadoop提交map/reduce job。
首先，创建maper和reducer脚本。这里使用的是perl。
cat maper.pl 
while ($line = )
{
    chomp($line);
    ($rib,$nquery,@rest) = split (/- /, $line);
    my @joined = ($nquery, @rest);
    my $results = join("\t", @joined);
    print "$results\n";
}

cat reducer.pl 
while ($line = )
{
    chomp($line);
    ($nquery,@rest) = split (/ /, $line);
    my @joined = ($nquery, @rest);
    my $results = join("\t", @joined);
    print "$results\n";
}

hadoop jar /usr/local/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-streaming.jar  -file ./maper.pl -mapper "perl maper.pl" -file ./reducer.pl -reducer "perl reducer.pl" -input /user/root/test/* -output /user/root/output

# hadoop fs -cat /user/root/test/test.txt                     
- aaaaa 123:123
- ddddd 321:321

# hadoop fs -cat /user/root/output/part-00000
aaaaa   123:123
ddddd   321:321
 
 
四：给集群添加数据节点
有的时候， datanode或者tasktracker crash，或者需要向集群中增加新的机器时又不能重启集群。下面方法也许对你有用。
1.把新机器的增加到conf/slaves文件中（datanode或者tasktracker crash则可跳过）
2.在新机器上进入hadoop安装目录
  $bin/hadoop-daemon.sh start datanode
  $bin/hadoop-daemon.sh start tasktracker
3.在namenode上
  $bin/hadoop balancer
 
 
五：另外几下一些常用命令
解除hdfs安全模式    hadoop dfsadmin -safemode leave
格式化名称节点 hadoop namenode -format(记得要删除dn的/tmp/hadoop-root目录)