hadoop 错误

Invalid directory in dfs.data.dir: Incorrect permission for /hadoop/hadoop-data, expected: rwxr-xr-x, while actual: rwxrwxr-x。

chmod g-w /hadoop/hadoop-data/

hadoop集群dfs.data.dir目录权限问题导致节点无法启动

发现是一个目录权限问题。

mkdir /mnt/hdfs/data

chown -R hadoop:hadoop  /mnt/hdfs/

eclipse  hadoop 代码  打包成jar 运行 （外带第三方包）

http://zhuq0516.blog.163.com/blog/static/177855271201123193842163/

直接在eclipse 运行  Ejob

Hadoop集群间distcp方案探讨

http://blog.linezing.com/2011/04/hadoop%E9%9B%86%E7%BE%A4%E9%97%B4distcp%E6%96%B9%E6%A1%88%E6%8E%A2%E8%AE%A8

hadoop 1.03

conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ","); //分割 key，alue
job.setInputFormatClass(KeyValueTextInputFormat.class); // key value  而不是key是文件偏移量