spark sql 本地调试_Spark应用程序调试方法详解

原标题：Spark应用程序调试方法详解

文 | 郭小龙

简介

Spark是基于内存计算的开源分布式大数据计算框架。为了更好、更快地开发Spark应用程序，开发者不仅要掌握Spark的理论基础和实现原理，更需要掌握Spark应用程序调试方式。

Spark应用程序调试方式有：本地调试模式、服务器调试模式、远程调试模式。接下来本文会一一介绍这几种调试方式的使用。

本地调试模式

1.

Spark本地开发工具推荐使用IntelliJ IDEA。编译工具推荐使用Maven或者IntelliJ IDEA自身编译。IntelliJ IDEA开发Spark应用程序和开发其他应用程序一样，可以进行debug调试，输出日志等等。

2.

安装JDK和Scala。安装版本请参考Spark官方网站说明。如2.0.2版本官网描述Spark runs on Java 7+, Python2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.0.2 uses Scala 2.11. You willneed to use a compatible Scala version (2.11.x).

3.

安装Spark，直接去Download Apache Spark。有两个步骤：

选择好对应Hadoop版本的Spark版本，如下图中所示；

然后点击下图中箭头所指的spark-2.0.2-bin-hadoop2.7.tgz，等待下载结束即可。

这里使用的是Pre-built的版本，意思就是已经编译了好了，下载来直接用就好。Spark也有源码可以