spark1.6

Spark源码分析之Rpc框架

Spark1.6之前，Spark的Rpc是基于Akk
HaiwiSong·2020-07-13 08:52

杀死Linux下顽固的僵尸进程

杀死Linux下顽固的僵尸进程今天使用oozie源码编译hadoop2.7.1,hive1.0.1以及spark1.6,1一直都都通过，不是下不来jar包就编译出错。
suiyuan0808·2020-07-10 18:00

编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg)

spark1.6编译1、下载spark1.6源码2、安装maven3、解压spark1.6执行exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize
wuzhilon88·2020-07-10 12:54

编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg)

spark1.6编译1、下载spark1.6源码2、安装maven3、解压spark1.6执行exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize
奔跑的小象·2020-07-10 03:21

CDH-hive的引擎换为spark：hive on spark

一、srcapache的hiveonspark和cdh的hiveonspark完全不同，前者有严格的版本对应关系，比如hive1.1只能用spark1.2，2.2只能用spark1.6。
zdkdchao·2020-07-07 22:45

Mesos shuffle service unusable in Spark1.6

报错提示:WARNTaskSetManager:Losttask132.0instage2.0(TID5951,spark047207):java.io.FileNotFoundException:/data1/spark/tmp/blockmgr-5363024d-29a4-4f6f-bf87-127b95669c7c/1c/temp_shuffle_7dad1a33-286f-47d2-850
breeze_lsw·2020-07-07 09:28

编写Spark程序的几个优化点

针对这个这个问题，其实在spark1.6中，已经加入了dataset，官方已经对其进行了一系列的优化，用户可以将rdd转化为dataset操作，减少学习成本。不过目前(1.6版本)依旧存在一些bug。
breeze_lsw·2020-07-05 11:53

spark-submit 源码阅读

基于spark1.6整体流程参考这个图20170712134317873.png整个流程，涉及3个sh，以两个类作为入口spark-submit->spark-class->load-spark-env.sh
喵_十八·2020-07-04 21:33

CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822
mlwise·2020-07-02 12:39

Spark常见故障诊断（一）

目前运维的Spark主要有Spark2.3和Spark1.6两个版本。
泰山不老生·2020-07-01 18:06

spark内存管理源码解读（基于Spark1.6）

在初始化SparkEnv时，可以看spark1.6支持两种内存管理方式：StaticMemoryManager（静态内存管理）和UnifiedMemoryManager（统一内存管理），spark1.6
夜深静处·2020-06-30 09:07

关于spark程序动态资源分配的一些理解

环境：cdh5.7.1cdh5.7.1中的spark版本为spark1.6关于如何配置动态资源分配，参见：http://spark.apache.org/docs/1.6.3/job-scheduling.html
xiao_jun_0820·2020-06-30 00:16

如何做Spark 版本兼容

我们知道Spark2.0，Spark1.6还有Spark1.5三者之间版本是不兼容的，尤其是一些内部API变化比较大。如果你的系统使用了不少底层的API,那么这篇文章或许对你有帮助。
祝威廉·2020-06-29 17:33

spark：RDD和DataFrame和DataSet三者间的区别

首先从版本的产生上来看：RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果
花和尚也有春天·2020-06-28 21:15

spark1.6升级到spark2.4的常见问题

查看hadoop版本hadoop2.7可支持最新的spark2.4.0版本，下载地址为http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz解压，进入conf目录，拷贝旧版本spark中的spark-env.sh、spark-defaults.conf、hive-site.
savorTheFlavor·2020-06-26 07:06

cloudera manager 升级到jdk1.8

CDH5.11自带的是spark1.6，在把spark升级到2.2之后，添加服务，执行服务Spark2上的命令部署客户端配置阶段报错。
浮生物语QAQ·2020-06-22 21:24

[源码分析]spark shuffle的写操作

基于spark1.6版本的理解，简单聊一聊sparkshuffle写操作的过程，以及该过程中可以优化的地方；见解粗略，往提出意见spark1.6版本shuffle默认的方式是Sortbasedshuffle
糖哗啦·2020-06-22 16:47

最详细的Spark内存管理

spark各版本的内存参数:一.Spark1.6内存管理：spark1.6之前使用StaticMemoryManager，叫legacy模式，默认是关闭的。
BAO7988·2020-06-21 17:19

大数据计算框架Spark之内存模型

MemoryManager的具体实现上，Spark1.6之后默认为统一管理（UnifiedMemoryManager）方式，1.6之前采用的静
BAO7988·2020-06-21 17:19

Spark SQL系列------2. Spark SQL Aggregate操作的实现

在Spark1.6上，TungstenAggregateIterator实现了一个分区的Iterator。
heayin123·2020-06-21 08:44

CDH| Spark升级

经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。
kris12·2020-04-22 11:00

spark-rpc部分源码走读

RPC体系结构spark1.6中的RPC体系结构大致如下：imageRpcEnv相当于容器，有host、port已及注册其中的RpcEndpoint，RpcEndpoint有对应的RpcEndpointRef
migle·2020-03-28 03:49

Spark 1.6 内存管理模型( Unified Memory Management)分析

2016年1月4号Spark1.6发布。提出了一个新的内存管理模型：UnifiedMemoryManagement。这篇文章会详细分析新的内存管理模型，方便大家做调优。
祝威廉·2020-03-23 13:22

Spark相关学习链接（持续更新）

Spark向Spark1.6开炮：问题总结与踩坑：http://www.tuicool.com/articles/2U36ZbSparkSummit20172月份:https://spark-summit.org
分裂四人组·2020-03-19 03:53

pyspark中combineByKey的两种理解方法

Spark1.6以前一直模模糊糊的，现在搞一下比较清楚combineByKey(createCombiner,mergeValue,mergeCombiners,numPartitions=None,partitionFunc
mrlevo520·2020-03-10 21:02

[spark streaming] 状态管理 updateStateByKey&mapWithState

每个batch的数据不是独立的而是需要累加的，这时就需要sparkStreaming来维护一些状态，目前有两种方案updateStateByKey&mapWithState，mapWithState是spark1.6
BIGUFO·2020-03-05 03:25

pyspark 1.6 的数据抽取代码 插入数据 采用 dataframe

spark1.6的数据抽取代码插入数据采用dataframe下面是python版的主要代码在main里面插入数据采用dataframe代码简要说明：根据ets(抽取后的表)中的updates更新时间字段最大值
堤岸小跑·2020-03-02 02:22

五分钟加简历-精通sparksql源码

零、序言⚪spark1.6之后引入DataSet，一种基于RDD的高级抽象，在RDD之上加入了scheme信息，给RDD的元素的每一列提供了名称和数据类型的标志。
曾二爷耶·2020-02-24 11:49

spark-源码-action算子触发

基于spark1.6创建完SparkContext，然后执行Action算子当RDD执行Action算子时（形成一个job），会将代码提交到Master上运行，例如wordcount的action算子collect
scandly·2020-02-22 10:51

spark内存资源管理机制

sparkstorage和shuffle的动态资源分配Spark1.6之前：（直接修改参数值就可以）data需要资源:spark.storage.memoryFractionshuffle所需资源:spark.shuffle.memoryFraction
清晨_cj·2020-02-21 18:07

CDH 5.13安装spark2

1、前言 CDH安装的是较新版本的CDH-5.13.0，但是CDH-5.13.0默认支持的还是spark1.6版本。
bigdata_er·2020-02-18 01:36

Spark Streaming 1.6 流式状态管理分析

Spark1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍SparkStreaming里新的流式状态管理。
达微·2020-02-12 06:12

Spark开发环境搭建

此外python3.6版本不兼容Spark1.6，使用时需要注意
喵_十八·2020-02-07 16:01

spark内存管理笔记摘抄

spark内存使用大小管理MemoryManager的具体实现上，Spark1.6之后默认为统一管理（UnifiedMemoryManager）方式，1.6之前采用的静态管理（StaticMemoryManager
曾小俊爱睡觉·2020-02-02 21:14

翻译：Apache Spark : RDD vs DataFrame vs Dataset

简要综述在分开讨论前，来一个简述，三种结构产生顺序如下：RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)RDD是最老的从1.0版本
orisonchan·2019-12-30 00:34

Spark 1.6.0 单机安装配置

Spark1.6单机环境的安装准备Spark官网文档描述的是：SparkrunsonJava7+,Python2.6+/3.4+andR3.1+.FortheScalaAPI,Spark2.0.2usesScala2.11
wangyizhen·2019-12-26 00:23

Spark Unified Memory Manager分析

针对上述的问题，spark1.6带来了新的内存管理机制，UnifiedMemoryManager。以前的内存
breeze_lsw·2019-12-06 13:41

zeppelin 0.8环境和spark2.2问题

之前用的版本是zeppelin0.7.2和spark1.6，最近把zeppelin升级到0.8发现1.6的配置和2.2的配置默认都无法支持，大概会遇到3个问题。
HxLiang·2019-11-30 03:44

Spark Example

好像spark1.6以后就没这个问题了，所以可以放心配置$PATH环境变量.
朝圣的路上·2019-11-05 00:08

Spark Streaming 1.6 流式状态管理分析

Spark1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍SparkStreaming里新的流式状态管理。
祝威廉·2019-11-01 09:52

spark1.6 java中文乱码

问题：spark1.6跑在centos7的一个docker中，发现自己写的java(由maven打包的jar)程序控制台乱码解决思路：排除问题:已确认了maven打包的字符集是utf-81.将jar在centos7
堤岸小跑·2019-10-31 14:17

scala学习--方法与函数

scala方法与函数（2.11）Scala介绍Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。
小鸡·2019-10-21 02:04

Spark自建的逻辑内存管理器是怎么申请和释放内存的？

spark1.6之后，UnifiedMemoryManager成为默认内存管理器，所以笔者以UnifiedMemoryManger为例分析sp
旺旺鸽不鸽·2019-09-18 08:29

Spark统一内存管理

Spark1.6以后，增加统一内存管理机制内存管理模块包括堆内内存（On-heapMemory），堆外内存（Off-heapMemory）两大区域。
Wish大人·2019-06-25 00:00

解决Spark2.0之后，报错No implicits found for parameter evidence$6: Encoder

当我们在使用spark1.6的时候，当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作，不会报错。
我拿Buff，谢谢·2019-03-25 00:00

SparkShuffle两种机制

1.HashShuffleManager(spark1.6之前)普通的HashShuffleManager机制普通HashShuffleManager机制1)每个task有独立的buffer内存,根据reduce
XtHhua·2019-03-16 14:35

零基础如何入门学习大数据呢？

在大数据课程设置上，用真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，集合西二旗、中关村、亦庄和朝阳的大数据商业实战项目;大数据分布式基于内存Spark1.6框架,与时俱进变
juan188·2019-03-02 19:59

Spark----RDD 、 DataFrames 和 DataSet的爱恨情仇

首先从版本的产生上来看：RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果
XiaodunLP·2019-02-18 00:27

RDD、DataFrame、DataSet对比与相互转换

RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)三者的共性1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集
RayfunC·2019-01-30 15:18

Spark2.2——RpcEnv（一）

  Spark1.6推出的RpcEnv、RpcEndPoint、RpcEndpointRef为核心的新型架构下的RPC通信方式，在底层封装了Akka和Netty，为未来扩充更多的通信系统提供了可能。
Jorocco·2019-01-16 11:22
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他