spark idea 编译异常

Error:(45, 66) not found: type SparkFlumeProtocol

  val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging {

                                                                ^

Error:(70, 39) not found: type EventBatch

  override def getEventBatch(n: Int): EventBatch = {

需要设置Spark Project External Flume Sink sources target为souce ,target下层除scala外的其他目录为excluded

 1. Source roots

    通过为此类别分配文件夹,您可以告诉IntelliJ IDEA此文件夹及其子文件夹包含应作为构建过程的一部分进行编译的源代码。

    在Java模块中,源根目录中的子文件夹代表Java包结构。

    您可以将包前缀分配给源根(例如,my.mycompany.myapp),而不是在该源根目录中创建相应的文件夹结构(例如,/ mycompany / myapp)。有关更多信息,请参阅Java源根的包前缀。

    如果没有包前缀和子文件夹,源根将表示默认包(未命名的包)。

 2. Generated source roots(或者 generated source folders; 显示为 

;;在某些视图中使用[generated]文本标记)与Source roots类似。不同之处在于,在执行Move Class重构或使用Create Class from Usage快速修复时,不会将Generated source roots认为是目标文件夹。

    3. Test source roots(或者 test source folders)。

    这些根类似于源根,但是用于测试的代码(例如用于单元测试)。通过测试源文件夹,您可以将与测试相关的代码与生产代码分开。

    通常,源和测试源的编译结果放在不同的文件夹中。

    4. Generated test source roots(或者 generated test source folders;在某些视图中使用[generated]文本标记)与Test source roots类似。他们之间的差异与Source roots和Generated source roots之间的差异相同。

 5. Resource roots(或者 resource folders;仅在Java模块中可用)适用于应用程序中使用的资源文件(图像,各种配置XML和属性文件等)。

    在构建过程中,资源文件夹的所有内容将按原样复制到输出文件夹。

    与源类似,您可以指定生成资源。您还可以指定应将资源复制到的输出文件夹中的哪个文件夹。

    6. Test resource roots(或者 test resource folders;仅在Java模块中可用)用于与测试源关联的资源文件。在所有其他方面,这些文件夹类似于资源文件夹。

    7.  Excluded roots是IntelliJ IDEA“几乎忽略”的根。

    为Excluded roots中的文件提供了非常有限的编码帮助。Excluded roots中包含的类不出现在代码完成建议列表中,对这些类的引用在编辑器中显示为未解析。搜索时,IntelliJ IDEA不会查找排除的文件夹等。

    使排除内容“不太重要”的文件夹可以提高IDE性能。

    通常排除的是编译输出文件夹。



运行example示例错误

Menu -> File -> Project Structure -> Modules -> spark-examples_2.11 -> Dependencies 添加依赖 jars -> {spark dir}/spark/assembly/target/scala-2.11/jars/

你可能感兴趣的:(spark idea 编译异常)