spark2.1.0

Spark2.1.0源码编译

1、在Spark官网下载源码，选择sourcecode下载解压即可（也可以gitclonespark源码）2、在环境变量里设置maven内存大小，我本机使用默认大小也通过了，根据实际情况决定。exportMAVEN_OPTS="-Xmx2g-XX:ReservedCodeCacheSize=512m"3、官方编译示例：#ApacheHadoop2.2.X ./build/mvn-Pyarn-Pha
Dax1n·2017-02-27 19:00

spark2.1.0连接mysql

packagescala21.sparkSQLimportjava.sql.DriverManagerimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql._importorg.apache.spark.sql.types.{DataTypes,StructField,StructType}importscala.collection.m
gerry.tan·2017-01-23 16:10

spark2.1.0自定义累加器AccumulatorV2的使用

类类继承AccumulatorV2classMyAccumulatorV2extendsAccumulatorV2[String,String]覆写抽象方法：/***@authorlcjasas*@version1.0*@since2017-01-1410:19AM.*/ classMyAccumulatorV2extendsAccumulatorV2[String,String]{ overr
lcjasas·2017-01-16 00:00

升级Spark 2.1.0 Docker镜像到Java 8

前言前一篇博文（创建Spark2.1.0Docker镜像）我们讲了如何基于sequenceiq/hadoop-docker:2.6.0镜像构建Spark2.1.0的Docker镜像。
远太狼·2017-01-13 17:10
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他