Hadoop和Spark修改shh端口以及web监控端口

SSH端口不是默认端口22

hadoop

如果ssh端口不是默认的22,在etc/hadoop/hadoop-env.sh里改下。如:

export HADOOP_SSH_OPTS="-p 18921"

spark

在spark-env.sh添加
export SPARK_SSH_OPTS="-p 37294"


ps :spark master 默认web 端口是8080,如果8080被占用,spark会自动就加1.所以当8080你访问不到spark时,你可以试试8081.worker是8082

hbase web监控端口

在安装hbase-1.0.1时发现一个问题,hbase能够正常使用,hbase shell 完全可用,但是60010页面却打不开,最后找到问题,是因为1.0.1版本的hbase的master web 默认是不运行的,所以需要自己配置默认端口。配置如下

在hbase-site.xml中加入一下内容即可


       hbase.master.info.port
       60010
     

同理可以配置regionserver web端口 (ps:我在1.0.3版本中hbase.regionserver.info.port 配置了没有用,发现16301是regionserver 

hadoop系列端口介绍:http://debugo.com/hbase-params/   http://blog.csdn.net/ff19910203/article/details/24986333

spark-submit 出错

1.提交scala运行任务时出现sparkMaster找不到 connect refuse的错误,解决办法:

spark-env.sh文件里加了export SPARK_MASTER_IP=localhost就可以了。。

但是看别人说:

export SPARK_MASTER_IP=localhost后,系统会认为spark部署为cluster模式,

执行./bin/spark-shell后会报找不到master的错误!

所以spark-env.sh里只加export SPARK_LOCAL_IP=localhost就可以了


2.在网页界面中8082端口查看日志stderr报错:ERROR executor.CoarseGrainedExecutorBackend: Driver Disassociated [akka.tcp://sparkExecutor@pc-jfqdfx31:48586] -> [akka.tcp://sparkDriver@pc-jfqdfx30:41656] disassociated! Shutting down.
15/07/23 10:50:56 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM

  这个错误比较隐晦,从信息上看来不知道是什么问题,但是归根结底还是内存的问题,有两个方法可以解决这个错误,一是,如上面所说,加大excutor-memory的值,减少executor-cores的数量,问题可以解决。二是,加大executor.overhead的值,但是这样其实并没有解决掉根本的问题。所以如果集群的资源是支持的话,就用1的办法吧。

  另外,这个错误也出现在partitionBy(new HashPartition(partiton-num))时,如果partiton-num太大或者太小的时候会报这种错误,说白了也是内存的原因,不过这个时候增加内存和overhead没有什么用,得去调整这个partiton-num的值。

http://www.cnblogs.com/fbiswt/p/4679403.html



你可能感兴趣的:(hadoop,spark)