Your hostname, xxx resolves to a loopback address: 127.0.1.1; using x.x.x.x instead(on interface xx)

弹出的警告是这样的:
20/04/22 14:47:32 WARN util.Utils: Your hostname, zh123-PC resolves to a loopback address: 127.0.1.1; using 192.168.0.103 instead (on interface enp3s0f1)
20/04/22 14:47:32 WARN util.Utils: Set SPARK_LOCAL_IP if you need to bind to another address

这是一个WRAN提示,虽然不影响程序的运行,但是终究不完美,
解决方案在提示中已经给出;
意思就是说你在Spark的配置文件中设置spark本地ip,没有设置得话默认就会在网卡中自己获取ip地址,然后这个地址和配置文件中所配置的master的地址ip不一致所以弹出提示

  • 你只需要进入$SPARK_HOME/conf/
  • 然后修改配置文件 spark-env.sh (即环境配置文件) 添加如下信息即可
# 这个localhost即绑定的spark本地地址,只需要和 SPARK_MASTER_IP 所配置的地址一致即可消除警告
SPARK_LOCAL_IP=localhost

你可能感兴趣的:(pyspark,之,Structured,Streaming)