SparkConf

spark2.x由浅入深深到底系列六之RDD java api详解四

学习spark任何的知识点之前，先对spark要有一个正确的理解，可以参考：正确理解spark本文对join相关的api做了一个解释SparkConf conf = new SparkConf().setAppName
tangweiqun·2017-09-19 21:02

spark

{SparkConf,SparkContext}objectMain{defmain(arg
Gpwner·2017-09-15 14:47

Spark Streaming整合kafak

{HashPartitioner,SparkConf}importorg.apache.spark.storage.StorageLevelimportorg.apache.spark.streaming.kafka.KafkaUtilsimportorg.apache.spark.streaming
freefish_yzx·2017-08-29 09:45

Spark读取本地文件操作

importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext
nls1014·2017-08-26 16:16

计算最大的关系网络的Spark实现

frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local").setAppName("Myapp")sc=SparkContext
conggova·2017-08-24 14:15

Spark 本地模式

{SparkConf,SparkContext}objectForeachDemo{defmain(args:Array[String]):Unit={/*local[2]表示启动本地二个进程，local
freefish_yzx·2017-08-23 23:00

maven scala idea 步骤

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]){//i
机智帅气的葫芦娃·2017-08-22 13:48

Spark 分层抽样与求最大值最小值

{SparkConf,SparkContext}/***分层抽样**Createdbydrguoon2017/8/21.
光于前裕于后·2017-08-21 16:38

Spark kafka实时消费实现

{Logging,SparkConf,SparkContext}importorg.apache.spark.streaming.
iris_new·2017-08-21 14:06

Spark处理XML文件与XLSX/XLS文件

{SparkConf,SparkContext}/***xml数据处理（SQLContext）**Createdbydrguoon
光于前裕于后·2017-08-18 17:43

sparkstreaming直连kafka Java实现 自己管理offset

importjava.util.Arrays;importjava.util.HashMap;importjava.util.HashSet;importjava.util.Map;importorg.apache.spark.SparkConf
mengxb12138·2017-08-10 10:11

sparksql 简单使用

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContext/***Createdbyjieon2017/7/
lijie_cq·2017-07-31 23:53

Spark之WordCount（Java代码实现）

authormajiashu*/packagecom.majs.spark;importjava.util.Arrays;importjava.util.Iterator;importorg.apache.spark.SparkConf
_majiashu·2017-07-25 21:05

Spark机器学习(7)：KMenas算法

{SparkConf,SparkContext}importorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.mllib.clustering
MSTK·2017-07-11 18:00

将java开发的wordcount程序部署到spark集群上运行

packagecn.spark.study.core;importjava.util.Arrays;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
小江_xiaojiang·2017-07-02 17:29

spark提交过程分析（standalone模式）

会通过反射的方式，创建和构造一个DriverActor进程出来（scala中的actor类似java的多线程）1.2.Driver进程会执行我们提交的Application应用程序，一般情况下，先构造SparkConf
clearlove_lbx·2017-06-21 00:00

Spark操作：Aggregate和AggregateByKey

{SparkConf,SparkContext}objectAggregateTest{defmain(args:Array[String])={//设置运行环境valconf=newSparkConf
MSTK·2017-06-13 12:00

sparksql性能调优

性能优化参数 代码实例importjava.util.List; importorg.apache.spark.SparkConf; importorg.apache.spark.api.java.JavaSparkContext
m635674608·2017-06-07 20:16

spark-通过StructType直接指定Schema

{SparkContext,SparkConf}/***CreatedbyZXon2015/12/11.*/objectSpecifyingSche
绛门人·2017-06-05 21:39

SparkStreaming实现HDFS的wordCount(java版)

sparkstreaming实现hdfs文件系统中的某个目录下的wordcount代码如下：packagesparkTestJava;importjava.util.Arrays;importorg.apache.spark.SparkConf
YQlakers·2017-06-05 15:52

【Spark源码】Spark-Context创建流程源码

应用程序开始执行时的步骤一般都是先创建SparkConf，再创建SparkContext1SparkContext创建的主要内容创建SparkEnv（driver端）创建UI创建HadoopConfiguration
_和_·2017-05-27 16:40

Spark配置参数

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。
xiaomin_____·2017-05-19 18:37

Spark实例-操作Hive数据

{SparkConf,SparkContext}/***CreatedbyAdministratoron2017/3/12.*/objectHi
不圆的石头·2017-05-09 11:56

计算回归曲线的MSE

{SparkConf,SparkContext}objectkimiYang{varconf=newSparkC
kimiYangfly·2017-04-25 09:41

spark SQL实例（load和save操作）

{SparkConf,SparkContext}/***Created
BBlue-Sky·2017-04-23 11:54

Spark源码系列（八）Spark Streaming实例分析

Example代码分析复制代码valssc=newStreamingContext(sparkConf,Seconds(1));//获得一个DStream负责连接监听端口:地址vallines=ssc.socketTextStream
BBlue-Sky·2017-04-23 10:38

Spark通过JdbcRdd连接Oracle数据库（scala）

{SparkConf,SparkContext}objectJdbcTest{defmain(args:Array[String]){valconf=newSparkConf()vals
dthfhjkj·2017-03-28 14:46

Spark通过JdbcRdd连接Oracle数据库（scala）

{SparkConf,SparkContext}objectJdbcTest{defmain(args:Array[String]){valconf=newSparkConf()
kevin19900306·2017-03-28 14:00

Spark通过JdbcRdd连接Oracle数据库（scala）

{SparkConf,SparkContext}objectJdbcTest{defmain(args:Array[String]){valconf=newSparkConf()
kevin19900306·2017-03-28 14:00

Spark Scala DataFram join 操作

{SparkConf,SparkContext}importorg.apache.spark.sql.
秉寒CHO·2017-03-15 20:59

spark连接Oracle

{SparkConf,SparkContext}importorg.apache.log4j.{Level,Logger}importorg.apache.s
深海小黄鱼·2017-03-14 16:02

Spark-Core源码精读(11)、Stage的划分过程和Task数据本地性

数据本地性引子前面的文章中我们已经分析了Spark应用程序即Application的注册以及Executors的启动注册流程，即计算资源已经分配完成(粗粒度的资源分配方式)，换句话说Driver端的代码已经运行完成(SparkConf
sun4lower·2017-03-12 22:09

Streaming 与kafka updateStateBykey()

object H extends App{        val  conf=new  SparkConf().setMaster("local[2]").setAppName("hello")        
小qk·2017-03-10 22:51

spark对wordcount结果集排序（JAVA）

org.apache.sparkspark-core_2.101.6.0publicclassWordCountSort{publicstaticvoidmain(String[]args){/***创建spark配置对象SparkConf
ZYJ_2012·2017-03-02 15:42

spark sql demo

通过pojo构造table：packagesparkSql;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD
年青人阿奔·2017-03-02 15:13

spark-note

{SparkConf,SparkContext}importorg.apache.spark.sql.types._importspark.implicits.
jacklin2015·2017-02-25 10:00

Spark SQL saveMode 方式

packagecom.bjsxt.java.spark.sql.loadsave;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaSparkContext
秉寒CHO·2017-01-17 22:46

SparkContext组件之SparkConf

sparkContext是spark程序的入口，可以创建RDD、accumulators和broadcast/***MainentrypointforSparkfunctionality.ASparkContextrepresentstheconnectiontoaSpark*cluster,andcanbeusedtocreateRDDs,accumulatorsandbroadcastvari
简陋的小屋·2017-01-15 11:34

IMF spark 正则表达式 统计apache log 日志

日志importcom.google.common.collect.Lists;importscala.Tuple2;importscala.Tuple3;importorg.apache.spark.SparkConf
段智华·2017-01-12 18:21

Spark源码解读之SparkContext初始化

一、SparkConf概述SparkC
Wang_AI·2016-12-13 17:27

Spark：Spark 编程模型及快速入门

http://blog.csdn.net/pipisorry/article/details/52366356Spark编程模型SparkContext类和SparkConf类代码中初始化我们可通过如下方式调用
-柚子皮-·2016-11-25 10:08

Spark操作mongodb

importjava.util.Collections;importjava.util.List;importorg.apache.hadoop.conf.Configuration;importorg.apache.spark.SparkConf
勿念久久·2016-11-11 15:59

Spark加速器 在Driver获取值为0的原因

{SparkConf,Spark
javartisan·2016-11-09 09:46

Spark SQL数据加载和保存实例讲解

二、SparkSQL读写数据代码实战importorg.apache.spark.SparkConf;
snail_gesture·2016-11-02 16:51

Spark中实现分组取TOP N (Scala版本)

{SparkConf,SparkContext}/***Createdbytgon10/25/16.*/objectGroupTopn{
霄嵩·2016-10-25 19:22

intellij 调试spark scala 程序 报错

{SparkConf,SparkContext} /*Createdbytomtangon2016/12/16. */ objecttomhelloworld{ defFILE_NAME:String
ccmaotang·2016-10-25 10:00

Spark SQL 两表关联

{SparkContext,SparkConf}//definecaseclassforusercaseclassUser(userID:String,gender:String,age:Int
秉寒CHO·2016-10-10 16:14

将hdfs上多个文本数据生成mllib的训练集测试集

{SparkConf,SparkContext}importsca
鱼香土豆丝·2016-09-23 10:24

SparkSql 函数的使用

{SparkConf,SparkContext} importorg.apache.spark.sql.SQLContext importorg.apache.spark.sql.functions._
UnionIBM·2016-09-12 21:00

spark DataFrame 使用Java读取mysql和写入mysql的例子

packagecom.hjh.demo.mysql;importjava.util.Properties;importorg.apache.log4j.Logger;importorg.apache.spark.SparkConf
longyi_java·2016-09-04 18:19
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他