Ubuntu 11.10 下使用hadoop-0.20.203.0
主要参考: http://hadoop.apache.org/docs/r0.20.0/quickstart.html
其中，JAVA_HOME设置的为/usr/lib/jvm/java-6-sun ，这个为本机java的路径，可以将java-6-openjdk改为这个，命令：update-java-alternatives -s java-6-sun
单台操作
这个模式是在一个java进程中运行hadoop,便于调试，具体操作为在根目录下：
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-examples-0.20.203.0.jar grep input output 'dfs[a-z.]+'
$ cat output/*
bin/hadoop jar（使用hadoop运行jar包） hadoop-examples-0.20.203.0.jar（jar包的名字） grep （要使用的类，后边的是参数）input output 'dfs[a-z.]+'，整个就是运行hadoop示例程序中的grep，对应的hdfs上的输入目录为input、输出目录为output。
这里的grep是 A map/reduce program that counts the matches of a regex in the input.并不是我们通常使用的grep。
最后cat的结果为：1 dfsadmin
伪分布式操作
在单结点上模拟分布式操作，每一个hadoop daemon都于不同的Java进程。具体操作如下：
切换到hadoop用户(也可以使用root,但是后面要修改一下hadoop脚本，去掉-jvm选项)
设置免ssh登陆
$ ssh localhost
如果弹出了需要输入密码的提示，使用下面：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
我使用root用户运行了这个命令之后，再ssh localhost ，还是需要输入密码，但是登陆一次之后就可以免密钥登陆了。使用hadoop用户的话，配置好之后就直接可以免密钥登陆了。
配置相关文件：
conf/core-site.xml:
| <configuration> |
| <property> |
| <name>fs.default.name</name> |
| <value>hdfs://localhost:9000</value> |
| </property> |
| </configuration> |
<!-- fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。-->
conf/hdfs-site.xml:
| <configuration> |
| <property> |
| <name>dfs.replication</name> |
| <value>1</value> |
| </property> |
| </configuration> |
<!-- dfs.replication -它决定着 系统里面的文件块的数据备份个数。对于一个实际的应用，它 应该被设为3（这个数字并没有上限，但更多的备份可能并没有作用，而且会占用更多的空间）。少于三个的备份，可能会影响到数据的可靠性(系统故障时，也许会造成数据丢失)-->
<!-- dfs.data.dir - 这是DataNode结点被指定要存储数据的本地文件系统路径。DataNode结点上的这个路径没有必要完全相同，因为每台机器的环境很可能是不一样的。但如果每台机器上的这个路径都是统一配置的话，会使工作变得简单一些。默认的情况下，它的值hadoop.tmp.dir, 这个路径只能用于测试的目的，因为，它很可能会丢失掉一些数据。所以，这个值最好还是被覆盖。
dfs.name.dir - 这是NameNode结点存储hadoop文件系统信息的本地系统路径。这个值只对NameNode有效，DataNode并不需要使用到它。上面对于/temp类型的警告，同样也适用于这里。在实际应用中，它最好被覆盖掉。-->
conf/mapred-site.xml:
| <configuration> |
| <property> |
| <name>mapred.job.tracker</name> |
| <value>localhost:9001</value> |
| </property> |
| </configuration> |
<!-- mapred.job.tracker -JobTracker的主机（或者IP）和端口。-->
格式化分布式文件系统
$ bin/hadoop namenode -format
启动hadoop daemons
$ bin/start-all.sh
hadoop daemon的日志被写到${HADOOP_LOG_DIR}目录，这个目录默认是${HADOOP_HOME}/logs
可以输入jps看daemon是否启动起来，也可以通过web接口查看namenode和JobTracker
- NameNode - http://localhost:50070/
- JobTracker - http://localhost:50030/
我报这个错误导致data node没有启动起来：
localhost: Unrecognized option: -jvm
localhost: Could not create the Java virtual machine.
解决办法：
1）修改hadoop启动脚本，
2）换成hadoop用户
详见hadoop Unrecognized option: -jvm
$ bin/hadoop fs -put conf input
上面的命令将本机上的conf目录拷贝到分布式文件系统的input目录
运行提供的例子：
$ bin/hadoop jar hadoop-examples-0.20.203.0.jar grep input output 'dfs[a-z.]+'
检查输出文件：
$ bin/hadoop fs -get output output
$ cat output/*
将分布式文件系统的output目录拷贝到当前的output目录
或者直接在分布式文件系统中查看：
$ bin/hadoop fs -cat output/*
最后关闭整个集群：
$ bin/stop-all.sh
PS: 进入hadoop目录,在bin/下面有很多启动脚本，可以根据自己的需要来启动。
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
* start-dfs.sh 启动Hadoop DFS守护Namenode和Datanode
* stop-dfs.sh 停止DFS守护
分部件的启动方式：
启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
在分配的NameNode上，运行下面的命令启动HDFS：
$ bin/start-dfs.sh（单独启动HDFS集群）
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。
在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$bin/start-mapred.sh （单独启动Map/Reduce）
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。
bin/hadoop这个好像就是程序了，启动jobtracker的命令是：
$HADOOP_HOME/bin/hadoop --config $HADOOP_HOME/conf jobtracker
用这个启动，程序不会退出。
使用脚本启动jobtracker的命令是：
"$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start jobtracker