E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkcontext
Spark技术内幕：Client，Master和Worker 通信源码解析
Spark的ClusterManager可以有几种部署模式：StandloneMesosYARNEC2Local在向集群提交计算任务后，系统的运算模型就是DriverProgram定义的
SparkContext
gaowenhui2008
·
2015-03-19 09:00
spark
用spark实现hive中的collect_set函数的功能
importorg.apache.spark.
SparkContext
._ importorg.apache.spark._ /** *Createdbyxiaojunon2015/3/9. */ objectSparkDemo2
xiao_jun_0820
·
2015-03-12 14:00
spark中的
SparkContext
实例的textFile使用的小技巧
网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile("hdfs://n1:8020/user/hdfs/input")textFile的参数是一个path,这个path可以是：1.一个文件路径，这时候只装载指定的文件2.一个目录路径，这时候只装载指定目录下面的所有文件（不包括子目录下面的文件）3.通过通配符的形式加载多个文件或者加载多个目录下面
xiao_jun_0820
·
2015-03-12 10:00
spark SQL编程动手实战-01
首先创建
SparkContext
上下文：接着引入隐身转换，用于把RDD转成SchemaRDD:接下来定义一个caseclass来用于描述和存储SQL表中的每一行数据：接下来要加载数据，这里的测试数据是user.txt
Stark_Summer
·
2015-03-02 18:00
case
Class
DSL
SQLContext
registerAsTable
SchemaRDD
spark SQL编程动手实战-01
首先创建
SparkContext
上下文：接着引入隐身转换，用于把RDD转成SchemaRDD:接下来定义一个caseclass来用于描述和存储SQL表中的每一行数据：接下来要加载数据，这里的测试数据是user.txt
Stark_Summer
·
2015-03-02 18:00
case
Class
DSL
SQLContext
registerAsTable
SchemaRDD
spark SQL编程动手实战-01
首先创建
SparkContext
上下文：接着引入隐身转换，用于把RDD转成SchemaRDD:接下来定义一个caseclass来用于描述和存储SQL表中的每一行数据：接下来要加载数据，这里的测试数据是user.txt
stark_summer
·
2015-03-02 18:00
case
Class
DSL
SQLContext
SchemaRDD
registerAsTable
spark SQL编程动手实战-01
首先创建
SparkContext
上下文：接着引入隐身转换，用于把RDD转成SchemaRDD:接下来定义一个caseclass来用于描述和存储SQL表中的每一行数据：接下来要加载数据，这里的测试数据是user.txt
stark_summer
·
2015-03-02 18:00
case
Class
DSL
SQLContext
registerAsTable
SchemaRDD
Spark源码系列（四）图解作业生命周期
我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是
SparkContext
，回想一下，从api的使用角度，RDD都必须通过它来获得。
wbj0110
·
2015-02-26 15:00
spark
Spark源码系列（四）图解作业生命周期
我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是
SparkContext
，回想一下，从api的使用角度，RDD都必须通过它来获得。
wbj0110
·
2015-02-26 15:00
spark
Spark源码系列（四）图解作业生命周期
我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是
SparkContext
，回想一下，从api的使用角度，RDD都必须通过它来获得。
wbj0110
·
2015-02-26 15:00
spark
【Spark八十】Spark RDD API二
{SparkConf,
SparkContext
} import org.apache.spark.
SparkContext
._ object CoGroupTest_05 { def main
bit1129
·
2015-02-26 11:00
spark
【Spark八十】Spark RDD API二
{SparkConf,
SparkContext
} import org.apache.spark.
SparkContext
._ object CoGroupTest_05 { def main
bit1129
·
2015-02-26 11:00
spark
【Spark八十】Spark RDD API二
{SparkConf,
SparkContext
} import org.apache.spark.
SparkContext
._ object CoGroupTest_05 { def main
bit1129
·
2015-02-26 11:00
spark
【Spark七十九】Spark RDD API一
{SparkConf,
SparkContext
} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String
bit1129
·
2015-02-25 19:00
spark
【Spark七十九】Spark RDD API一
{SparkConf,
SparkContext
} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String
bit1129
·
2015-02-25 19:00
spark
【Spark七十九】Spark RDD API一
{SparkConf,
SparkContext
} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String
bit1129
·
2015-02-25 19:00
spark
【Spark七十八】Spark Kyro序列化
当使用
SparkContext
的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，
bit1129
·
2015-02-22 19:00
spark
【Spark七十八】Spark Kyro序列化
当使用
SparkContext
的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，
bit1129
·
2015-02-22 19:00
spark
【Spark七十八】Spark Kyro序列化
当使用
SparkContext
的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，
bit1129
·
2015-02-22 19:00
spark
【Spark七十六】Spark计算结果存到MySQL
{
SparkContext
,SparkConf}objectSparkMySQLIntegration{caseclassPerson
axxbc123
·
2015-02-21 19:19
Spark
【Spark七十六】Spark计算结果存到MySQL
{
SparkContext
, SparkConf} object SparkMySQLInteg
bit1129
·
2015-02-21 19:00
mysql
【Spark七十六】Spark计算结果存到MySQL
{
SparkContext
, SparkConf} object SparkMySQLInteg
bit1129
·
2015-02-21 19:00
mysql
【Spark七十六】Spark计算结果存到MySQL
{
SparkContext
, SparkConf} object SparkMySQLInteg
bit1129
·
2015-02-21 19:00
mysql
【Spark六十六】Spark求数据集平均值以及单词词频TopK
{SparkConf,
SparkContext
} import org.apache.spark.
SparkContext
._ object SparkAvg { def main(args
bit1129
·
2015-02-16 13:00
spark
【Spark六十六】Spark求数据集平均值以及单词词频TopK
{SparkConf,
SparkContext
} import org.apache.spark.
SparkContext
._ object SparkAvg { def main(args
bit1129
·
2015-02-16 13:00
spark
【Spark六十五】slice、partition和inputsplit
slice和paritition是spark中的通用概念，表示一个原始数据块；比如使用
SparkContext
.parallelize方法可以把一个元素集合(不论多少元素）可以分解为多个分区(partition
bit1129
·
2015-02-15 22:00
partition
【Spark六十五】slice、partition和inputsplit
slice和paritition是spark中的通用概念，表示一个原始数据块；比如使用
SparkContext
.parallelize方法可以把一个元素集合(不论多少元素）可以分解为多个分区(partition
bit1129
·
2015-02-15 22:00
partition
【Spark五十八】Spark Streaming详解（重点窗口计算）
本文结合Spark官网上SparkStreaming的编程指南对SparkStreaming进行介绍StreamingContext如同
SparkContext
一样，StreamingContext也是
axxbc123
·
2015-02-13 21:31
Spark
【Spark五十八】Spark Streaming详解（重点窗口计算）
本文结合Spark官网上SparkStreaming的编程指南对SparkStreaming进行介绍StreamingContext如同
SparkContext
一样，StreamingContext也是
bit1129
·
2015-02-13 21:00
Stream
【Spark五十八】Spark Streaming详解（重点窗口计算）
本文结合Spark官网上SparkStreaming的编程指南对SparkStreaming进行介绍StreamingContext如同
SparkContext
一样，StreamingContext也是
bit1129
·
2015-02-13 21:00
Stream
【Spark五十八】Spark Streaming详解（重点窗口计算）
本文结合Spark官网上SparkStreaming的编程指南对SparkStreaming进行介绍StreamingContext如同
SparkContext
一样，StreamingContext也是
bit1129
·
2015-02-13 21:00
Stream
【Spark四十五】RDD算子逻辑执行图第五部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDCoalesc
bit1129
·
2015-02-06 18:00
spark
【Spark四十五】RDD算子逻辑执行图第五部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDCoalesc
bit1129
·
2015-02-06 18:00
spark
【Spark四十五】RDD算子逻辑执行图第五部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDCoalesc
bit1129
·
2015-02-06 18:00
spark
【Spark四十三】RDD算子逻辑执行图第三部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDIntersection{ defmain
bit1129
·
2015-02-06 14:00
spark
【Spark四十三】RDD算子逻辑执行图第三部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDIntersection{ defmain
bit1129
·
2015-02-06 14:00
spark
【Spark四十二】RDD算子逻辑执行图第二部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDDistinct{ defmain
bit1129
·
2015-02-06 13:00
spark
【Spark四十二】RDD算子逻辑执行图第二部分
{
SparkContext
,SparkConf} importorg.apache.spark.
SparkContext
._ objectSparkRDDDistinct{ defmain
bit1129
·
2015-02-06 13:00
spark
Spark构建推荐引擎之二：基于Spark Streaming 实时推荐计算
2）相似矩阵输入数据格式：物品ID，物品ID，相似度1.2物品相似矩阵 采用
SparkContext
读取物品的相似矩阵： //2sc读取相似矩阵 valsimi_path1="hdfs://192.168.180.100
sunbow0
·
2015-02-03 20:00
spark
Streaming
个性推荐
Spark Streaming示例
import org.apache.spark.
SparkContext
import org.apache.spark.SparkConf import org.apache.spark.
SparkContext
南洋牧师
·
2015-02-03 17:00
【Spark三十八】Spark Checkpoint机制
SparkContext
中对于checkpoint的操作 def runJob[T, U: ClassTag]( rdd: RDD[T], func:
bit1129
·
2015-02-02 14:00
spark
Spark 单机 Demo.
/src/main/python/里面有些例子，例如统计字数的wordcount.pyimport sys from operator import add from pyspark import
SparkContext
BryanYang
·
2015-01-29 16:00
mapreduce
spark
Spark Core源码分析: RDD基础
RDD RDD初始参数：上下文和一组依赖Java代码 abstract class RDD[T: ClassTag]( @transient private var sc:
SparkContext
wbj0110
·
2015-01-26 09:00
spark
Spark Core源码分析: RDD基础
RDD RDD初始参数：上下文和一组依赖Java代码 abstract class RDD[T: ClassTag]( @transient private var sc:
SparkContext
wbj0110
·
2015-01-26 09:00
spark
Spark Core源码分析: RDD基础
RDD RDD初始参数：上下文和一组依赖Java代码 abstract class RDD[T: ClassTag]( @transient private var sc:
SparkContext
wbj0110
·
2015-01-26 09:00
spark
【Spark二八Spark Shuffle读过程源代码代码剖析
nbsp; package spark.examples import org.apache.spark.SparkConf import org.apache.spark.
SparkContext
bit1129
·
2015-01-25 11:00
shuffle
【Spark二八Spark Shuffle读过程源代码代码剖析
nbsp; package spark.examples import org.apache.spark.SparkConf import org.apache.spark.
SparkContext
bit1129
·
2015-01-25 11:00
shuffle
【Scala】分析Spark源代码总结的Scala语法三
import org.apache.spark.
SparkContext
._ 表示引用
SparkContext
类里面的所有成员 import org.apache.spark._ 表示应用org.apache.spark
bit1129
·
2015-01-25 00:00
scala
【Scala】分析Spark源代码总结的Scala语法三
import org.apache.spark.
SparkContext
._ 表示引用
SparkContext
类里面的所有成员 import org.apache.spark._ 表示应用org.apache.spark
bit1129
·
2015-01-25 00:00
scala
【Spark二七】Spark Shuffle写过程源代码代码剖析
的读写过程，WordCount代码： packagespark.examples importorg.apache.spark.SparkConf importorg.apache.spark.
SparkContext
bit1129
·
2015-01-24 11:00
shuffle
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他