sparkcontext

PySpark学习笔记

在spark2.0中,HiveContext,SQLContext,StreamingContext,SparkContext都被聚合到了spark模块中。
IE06·2018-08-16 16:55

SparkContext转化为JavaSparkContext

自动Spark2.0发布以来，官方最开始推荐的代码由finalSparkConfconf=newSparkConf().setMaster("local").setAppName("---");finalJavaSparkContextctx=newJavaSparkContext(conf);这种形式转化成为了SparkSessionspark=SparkSession.builder().ma
徐雄辉·2018-08-16 15:51

spark之word2vec使用(python)

frompysparkimportSparkConf,SparkContext,SQLContextfrompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportWord2Vec
walk walk·2018-08-15 09:59

Spark核心编程-RDD创建操作

一、并行化集合创建操作通过SparkContext的parallelize方法，在一个已经存在的scala集合上创建的Seq对象，集合的对象将会被
Anbang713·2018-08-11 11:46

Spark内核架构剖析

整个Spark工作流程主要分为两部分：一、创建SparkContext1.客户端在提交spark应用的机器提交一个Applicaton程序。
Perkinl·2018-08-08 19:37

Spark学习（一）：Spark独立应用

每个Spark应用都有一个驱动器程序来发起集群上的各种并行操作，同时，通过SparkContext对象来访问Spark.创建一个独立的Spark应用，首先初始化SparkContext如下：（java版本
acm160920007·2018-08-02 15:15

Spark源码分析之DAGScheduler详解

在前面的几节中，主要介绍了SparkContext的启动初始化过程，包括Driver的启动，向Master的注册，Master启动Worker，在Worker中启动Executor，以及Worker向Master
不清不慎·2018-07-31 17:36

Spark实现分组取 top N 示例 —— Scala版

{SparkConf,SparkContext}/***数据样本如下：anhuihe
* star *·2018-07-29 20:15

Spark源码解读之SparkContext剖析

最近一直在研究Spark，也自己练习做了几个项目，对于Spark这个框架特别的喜爱，尤其是其一站式的大数据解决方案，而且也对SparkMLlib中的机器学习算法很感兴趣，也学习过一段时间。但是在自己空闲下来回想，对于Spark的理解自己仅仅只是停留在表层，如果只是使用API来编写Spark程序，那么无疑将Spark与其他普通的框架混为一谈，发挥不了其作用，根本谈不上说熟悉Spark。因此，想花一段
不清不慎·2018-07-26 16:22

spark 连接mysql数据库 读取、写入数据

newJavaSparkContext(newSparkConf().setAppName("sparkApp").setMaster("local[5]"));SQLContextsqlContext=newSQLContext(sparkContext
程序猿家族成员·2018-07-26 11:09

Spark常用transformation算子操作 —— Scala版

{SparkConf,SparkContext}/***笛卡尔积cartesian算子*Createdbyasuson2018/7/15.
* star *·2018-07-22 19:32

Spark常用action算子操作 —— Scala版

{SparkConf,SparkContext}/***Createdbyasuson2018/6/17.
* star *·2018-07-21 08:24

Spark整合Elasticsearch-从ES读取数据

{SparkConf,SparkContext}impo
性本爱丘山·2018-07-20 00:00

PySpark tutorial 学习笔记1——概述，SparkContext

Spark：https://spark.apache.org/PySpark官方文档：http://spark.apache.org/docs/latest/api/python/pyspark.html1.PySpark简介1.1Spark-概述ApacheSpark是一个闪电般快速的实时处理框架。它可以使用内存计算以实时分析数据。由于ApacheHadoopMapReduce仅执行批处理并且缺
daisyyyyyyyy·2018-07-19 10:23

【十一】Spark Streaming整合Spark SQL的操作Local模式（使用Scala语言）

首先创建一个SparkSession使用SparkContext。这个SparkContext也能被StreamingContext使用。
jy02268879·2018-07-18 03:19

Spark运行机制与原理详解

或者看这个图可以看出Spark运行经过以下几个阶段：1.用户编写好SparkContext，新创建的SparkContext连接资源管理器clustermanager，其实Spark的还有其他优秀的资源管理器可以用
Handoking·2018-07-17 20:26

Spark DAG优化的解读

一，Spark专业术语的解析1，Application基于Spark的用户程序，包含了driver程序和集群上的executor2，DriverProgram运行main函数并且新建SparkContext
IT影风·2018-07-15 00:00

Spark源码解析(二):SparkContext流程

SparkContext内部执行流程SparkContext内部执行的时序图对于这个时序图的具体描述如下:1.SparkSubmit在main()方法中执行，然后根据提交的类型调用相应的方法，这里是”Submit
Oeljeklaus·2018-07-09 08:59

Spark获取当前分区的partitionId

1、代码下面的代码主要测试SparkSession，SparkContext创建的r
董可伦·2018-07-06 16:26

Spark（三）————作业提交流程

1、Spark核心API[SparkContext]连接到spark集群,入口点.
Jorocco·2018-07-05 13:33

Spark核心功能设计详解

前言正文1.基础设施2.SparkContext3.SparkEnv4.存储体系5.调度系统6.计算引擎前言本文是读耿嘉安先生的《Spark内核设计艺术：架构设计与实现》的读书笔记，感觉这一部分很重要，
荒野雄兵·2018-07-05 07:57

Spark实现SQL的count(*),count(distinct * *) 即pv、uv

{SparkConf,SparkContext}/***Createdbyzhangon2018/6/29.
IBoyMan·2018-07-03 16:06

spark SQL 执行过程

{SparkConf,SparkContext}//caseclass一定要放到外面caseclassPerson(id:Int,name:String,age:Int)objectInfe
cjlion·2018-07-01 21:23

spark SQL and DataFrame(一)

如果SparkContext已经存在，SparkSession就会重用它；如果不存在，Spark就会创建一个新的SparkContext。
诗蕊·2018-06-29 21:02

org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0

java版本不对，导致报错2018-06-2808:02:04,475:INFO:SparkContext:logInfo:RunningSparkversion2.2.0Exceptioninthread"main"java.lang.UnsupportedClassVersionError
南山黑·2018-06-28 08:58

spark源码二：sparkContext初始化之spark的执行环境SparkConf

SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecu
每天一滴水·2018-06-25 16:56

pyspark学习与工作历程

即在使用中，需要在SparkContext基础上架一层SQLContext。SparkSQL的RDD称为SchemaRDD。
Jack_kun·2018-06-21 13:50

【Spark】Spark将计算结果写入到Mysql中

{SparkContext,SparkConf}object RDDtoMysql{  cas
倚楼又听雨·2018-06-20 16:23

java-spark中各种常用算子的写法示例

2）Action行动算子：这类算子会触发SparkContext提交Jo
horseman·2018-06-20 08:31

spark dataframe 转成 dataset

{SparkConf,SparkContext}importorg.apache.spark.sql.
瓦力冫·2018-06-19 18:22

pySpark 中文API (1)

公开课：SparkContext：Spark功能的主要入口点。RDD：弹性分布式数据集（RDD）
mpro·2018-06-19 12:01

pySpark 中文API (1)

公开课：SparkContext：Spark功能的主要入口点。RDD：弹性分布式数据集（RDD）
mpro·2018-06-19 12:01

【转载】spark的内存分配管理

SPARK的内存管理器StaticMemoryManager,UnifiedMemoryManager1.6以后默认是UnifiedMemoryManager.这个内存管理器在sparkContext中通过
xiaodf·2018-06-16 14:05

【转载】spark的内存分配管理

SPARK的内存管理器StaticMemoryManager,UnifiedMemoryManager1.6以后默认是UnifiedMemoryManager.这个内存管理器在sparkContext中通过
xiaodf·2018-06-16 14:05

一.spark学习初体验之SparkContext

首先最重要的一步在driver上构建我们的SparkContext。在这一步主要做了四件事：（1）创建了DAGSchedulerDAG是基于用户的transformation操作和sta
飞半天的鱼儿·2018-06-10 22:52

pyspark 读取csv文件创建DataFrame的两种方法

方法一：用pandas辅助frompysparkimportSparkContextfrompyspark.sqlimportSQLContextimportpandasaspdsc=SparkContext
Stephen__Chou·2018-06-07 08:23

Spark之hive的UDF自定义函数

{SparkConf,SparkContext}importorg.apache.spark.sql.hive.HiveContextobjectUDFDemo1{defmain(args:Array[
九师兄-梁川川·2018-05-31 09:09

Spark核心技术与应用第二章

Driver程序和集群上的Executors组成ApplicationJar一个包含用户Spark应用程序的Jar包，在某些情况下，包含应用程序的依赖包Driverprogram驱动程序，运行main函数并创建SparkContext
小小少年Boy·2018-05-30 09:23

take top takeOrdered 的基本使用方法

valspark=SparkSession.builder.master("local[*]").appName("TakeTakeOrderedTop").getOrCreate()valsc=spark.sparkContext
南山黑·2018-05-24 16:56

Spark 读取excel csv

{SparkConf,SparkContext}/***Createdbyllon2018/5/17.
酱g·2018-05-23 17:07

开发第一个Spark程序

                      WorldCount程序一、需求：对文本文件中的单词个数进行统计二、步骤：     1.创建一个SparkContext     2.加载数据     3.把没一行分割成单词
fengfengchen95·2018-05-23 00:00

spark-core_15:sparkContext初始化源码分析

这幅图是网友提供的，非常感谢/***MainentrypointforSparkfunctionality.ASparkContextrepresentstheconnectiontoaSparkcluster,andcanbeusedtocreateRDDs,accumulatorsandbroadcastvariablesonthatcluster.**OnlyoneSparkContextm
水中舟_luyl·2018-05-22 15:53

spark杂记-初识spark

1.rdd弹性分布式数据集分区；一个函数处理一个分区；sparkContext；transformation(转换)：延迟加载，算子中并不加载数据，如flatMap,map;action(动作)：真正开始计算数据
Java_Soldier·2018-05-21 17:00

spark精华面试题

1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度
假的鱼·2018-05-18 16:11

Spark-Task not serializable错误解析

{SparkConf,SparkContext}/***CreatedbyAdmin
沙拉控·2018-05-17 15:03

spark 常用函数介绍（python）

SparkContextpython语法1.获取sparkSession：se=SparkSession.builder.config(conf=SparkConf()).getOrCreate()2.获取sparkContext
数据架构师·2018-05-17 15:01

spark精华面试题

1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度
FisherWang_CN·2018-05-16 19:31

【Spark学习笔记】Scheduler模块

spark调度模块详解.png调度流程源码分析Spark作业调度源码跟踪.png第一步：准备工作SparkContext中创建DAGScheduler、TaskScheduler和SchedulerBackend
代码足迹·2018-05-11 14:07

【Spark学习笔记】Scheduler模块

spark调度模块详解.png调度流程源码分析Spark作业调度源码跟踪.png第一步：准备工作SparkContext中创建DAGScheduler、TaskScheduler和SchedulerBackend
代码足迹·2018-05-11 14:07

windows远程提交Spark作业到linux集群，并尝试多种模式运行

本地构建java+scala混合工程：测试使用本地win10做driverjava远程提交代码到集群sparkContext版本sparkSession版本scala远程提交代码到集群sparkContext
haixwang·2018-05-10 12:46
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他