SparkSQL远程调试(IDEA)

  1. 启动Intellij IDEA,打开spark源码项目,配置远程调试 Run->Edit Configuration
    SparkSQL远程调试(IDEA)_第1张图片
  2. 启动远程spark-sql
spark-sql --verbose --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005"
  1. 运行远程调试,RUN -> Debug ‘spark-sql’,在源码中设置断点
    SparkSQL远程调试(IDEA)_第2张图片
  2. 在远程spark-sql客户端输入SQL语句并运行
select count(name) cnt from student where age > 14;
  1. 在IDEA工具中可以单步调试,查看每一步的结果。

你可能感兴趣的:(大数据,大数据,spark)