hadoop 0.23 配置、安装、升级(YARN 与 log路径 )

yarn的配置比hdfs那几个点点简单多了,

网上随便找个教程应该都可以搞定。

遇到的几个问题,记录以下。

1,尼玛yarn-env.sh 与 hadoop-env.sh,启动dfs的时候只会读取hadoop-env.sh,
   启动yarn时,运行./start-yarn.sh,会先执行hadoop-env.sh再执行yarn-env.sh,也就是说后者级别高,会覆盖前者。

2,yarn的log路径问题。看yarn-default.xml里面说yarn.nodemanager.log-dirs参数是指定log存放的,可是我怎么折腾都没效果,它会把路径设置为/logs,这个比较痛苦。后来折腾了半天,在hadoop-env.sh里面配置环境变量,可以解决。
注意,修改/etc/profile,无法使环境变量生效,启动的时候yarn不鸟这个/etc/profile。

3,推荐把所有环境变量都放到 hadoop-env.sh中。我想这也是设计人员的初衷,只怪自己太傻逼,折腾了两三年的/etc/profile。

其他没啥了,

你可能感兴趣的:(hadoop)