查看Spark-Master节点与Slaves节点的网络交互

关于Spark提供的交互端口,默认情况下页面监控的端口为8080,交互的端口为7077。如何查看主节点的端口与的交互与链接:

监控页面可以看到服务监听的地址与端口

Spark Master at spark://10.130.2.20:7077

通过netstat命令可以查看占用的端口及对应的pid

netstat -tnlp | grep 7077



通过lsof命令可以查看与主节点7077端口交互的slaves节点的连接情况

lsof -i:7077

查看Spark-Master节点与Slaves节点的网络交互_第1张图片


如果要看真实的IP则

lsof -i:7077 -n

查看Spark-Master节点与Slaves节点的网络交互_第2张图片



可以看到master的7077端口与slaves节点端口的交互情况,如果没有连接可能是slaves节点挂了,或者有网络的限制


你可能感兴趣的:(spark,网络)