spark1.6

Spark1.6源码编译

一、前言不论是spark还是hadoop、flume等，都建议新手在学习时自己进行手动编译，在第一次编译时肯定会遇到很多问题，大家要摆正心态，一定会有所收货。本文将中重点讲解apache版本和cdh版本下的spark编译。二、环境介绍操作系统：centos6.5(建议内存4G以上)jdk：1.7.0_67spark版本：1.6.1hadoop版本：2.5.0或者cdh2.5.0maven版本：3.
Hubery_Yu_160521·2020-09-12 13:30

Spark 中通讯架构

3、Spark1.6中Akka和Netty可以配置使用，Netty完全实现了Akka在Spark中的功能。4、Spark2系列中，不再使用Akka，使用Netty。
火成哥哥·2020-09-12 08:33

Spark部分：Spark的静态内存管理和统一内存管理【图片+文字说明】

内存管理Spark1.6之前使用的是静态内存管理，spark1.6之后使用的是统一内存管理静态内存管理：0.2：task运行0.2：0.2*0.2：预留0.2*0.8：shuffle聚合内存0.6：0.1
道法—自然·2020-09-11 06:04

Spark内存管理（2）—— 统一内存管理

Spark内存管理系列文章：Spark内存管理（1）——静态内存管理堆内内存Spark1.6之后引入的统一内存管理机制，与静态内存管理的区别在于Storage和Execution共享同一块内存空间，可以动态占用对方的空闲区域其中最重要的优化在于动态占用机制
疯狂呼呼呼·2020-09-11 01:18

你真知道如何高效用mapPartitions吗？

昨天将spark1.6源码阅读视频已经上传到星球里。顺便打个广告，浪尖开
大数据星球-浪尖·2020-09-10 23:23

Spark 静态内存管理

该篇文章主要针对spark1.6静态内存管理进行了分析与说明。动态内存管理以及其他的调优文章后期会陆续为大家呈现，请大家
T-Janey·2020-09-10 22:55

CDH-5.9.2整合spark2

1.编写目的：由于cdh-5.9.2自带spark版本是spark1.6，现需要测试spark2新特性，需要整合spark2，且spark1.x和spark2.x可以同时存在于cdh中，无需先删除spark1
weixin_30239339·2020-08-24 16:07

spark DataFrame的创建几种方式和存储

从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。
weixin_30251587·2020-08-23 03:09

SparkSQL编程之RDD、DataFrame、DataSet

首先从版本的产生上来看：RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果
大数据小同学·2020-08-23 03:49

spark1.6.1和2.4读取csv文件，转为为DataFrame和使用SQL

一、spark1.6读取csvspark2.0才开始源码支持CSV，所以1.6版本需要借助第三方包来实现读取CSV文件，有好几种方法，1.如果有maven的，到https://spark-packages.org
lbship·2020-08-23 01:51

Spark Streaming 1.6 流式状态管理分析

Spark1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍SparkStreaming里新的流式状态管理。
祝威廉·2020-08-23 01:24

[spark streaming] 状态管理 updateStateByKey&mapWithState

每个batch的数据不是独立的而是需要累加的，这时就需要sparkStreaming来维护一些状态，目前有两种方案updateStateByKey&mapWithState，mapWithState是spark1.6
大写的UFO·2020-08-23 00:23

Spark SQL 实现 group_concat

SparkSQL实现group_concat环境：Spark2.0.1以下貌似需要至少Spark1.6支持，未实测（网友yanshichuan1反馈spark1.5.1同样支持，感谢）表结构及内容：+-
九剑问天·2020-08-22 22:56

Dstream生成RDD实例详解

2016.12.28update,Spark2.1全系列√(2.1.0)*2016.11.14update,Spark2.0全系列√(2.0.0,2.0.1,2.0.2)*2016.11.07update,Spark1.6
zzzzzzzzzzzzzzzzzxs·2020-08-21 02:25

自适应查询执行AQE：在运行时加速SparkSQL

在Spark社区，最早在Spark1.6版本就已经提出发展自适应执行（Adaptiv
weixin_45906054·2020-08-18 12:47

Spark学习笔记（四）| Spark内存管理

文章目录1.堆内和堆外内存规划1.1堆内内存1.1.1内存申请与释放1.2堆外内存2.内存空间分配2.1静态内存管理(Spark1.6版本以前)2.2统一内存管理(Spark1.6以后)3.存储内存(Storage
辣鸡翅17·2020-08-17 23:28

SparkGraphX加权最短路径算法实现

版本：Spark1.6该版本自带的最短路径算法shortestPaths没办法自定义权重（默认每条边的权重都一样），不符合现实生活，比如在地图中计算两个位置的最短路线，要考虑
javastart·2020-08-16 06:15

spark04--sparl sql大全

1、读取json格式的文件创建DataFramejava(spark1.6)publicstaticvoidmain(String[]args){SparkConfconf=newSparkConf()
chengxian6723·2020-08-15 22:23

AttributeError: 'NoneType' object has no attribute 'sc' 解决方法！

依旧说下：本人的操作系统为win7，python3,spark1.6，anaconda3代码如下：lines=sc.textFile("D://ProgramFiles//spark//spark-1.6.0
ZengHaihong·2020-08-15 22:37

spark运行模式

而deploy-mode必须是cluster、client的一种spark1.6里面用数字表示了启动的模式//Clustermanagerspri
Xlucas·2020-08-14 15:32

Spark 内存管理之StaticMemoryManager

StaticMemoryManager是Spark1.6之前唯一的内存管理器。
Mr_JieLQ·2020-08-14 11:45

spark1.6统一内存管理(UnifiedMemoryManager)

从spark1.6开始，引入了新的内存管理方式-----统一内存管理(UnifiedMemoryManager)。
CxCo·2020-08-12 17:14

Spark中RDD、DataFrame和DataSet的区别

版本数据表示形式数据格式编译时类型安全序列化垃圾回收效率/内存使用编程语言支持聚合操作(Aggregation)结论前言最近同事开始学习使用Spark，问我RDD、DataFrame和DataSet之间有什么区别，以及生产环境中的spark1.6
abc33880238·2020-08-11 05:22

RDD，DataFrame和DataSet的共性和区别

RDD(Spark1.0)->Dataframe(Spark1.3)->Dataset(Spark1.6)共性1.RDD，dataFrame和DataSet都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利
muyingmiao·2020-08-11 05:23

spark调优-shuffle调优

基于spark1.6参数可以通过newsparkContext().set("","")来设置，也可以通过命令的参数设置--confspark.shuffle.file.buffer默认值：32k参数说明
姥爷家的小胡同·2020-08-09 06:39

Spark2.x RDD, Dataframe Dataset API操作

Spark提供了三种主要的与数据相关的API：RDD、DataFrame、DatasetRDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)imageRDDRDD
zhangjunli·2020-08-07 22:08

SparkSQL编程之RDD、DataFrame、DataSet区别与共性

首先从版本的产生上来看：RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果
ITBOY_ITBOX·2020-08-03 19:02

第十课 使用java开发spark 实战

由于spark1.6需要scala2.10.X版本的。推荐2.10.4，java版本最好是1.8。所以提前我们要需要安装好java和scala并在环境变量中配置好。
a11a2233445566·2020-08-03 14:40

五分钟精通sparksql源码-加简历

#序言-spark1.6之后引入DataSet，一种基于RDD的高级抽象，在RDD之上加入了scheme信息，给RDD的元素的每一列提供了名称和数据类型的标志。
曾二爷·2020-08-03 10:56

RDD和DataFrame和DataSet三者间的区别

首先从版本的产生上来看：RDD(Spark1.0)—>Dataframe(Spark1.3)—>Dataset(Spark1.6)如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果
乌镇风云·2020-08-03 07:32

Spark中DataSet的基本使用

DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了SparkSQL优化的执行引擎。
MC_Linlin·2020-08-03 07:45

初识Spark2.0之Spark SQL

内存计算平台spark在今年6月份的时候正式发布了spark2.0，相比上一版本的spark1.6版本，在内存优化，数据组织，流计算等方面都做出了较大的改变，同时更加注重基于DataFrame数据组织的
weixin_30512043·2020-08-03 06:25

spark笔记之DataSet

DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了SparkSQL优化的执行引擎。
我是楠楠·2020-08-03 03:52

pyspark中combineByKey的两种理解方法

Spark1.6以前一直模模糊糊的，现在搞一下比较清楚combineByKey(createCombiner,mergeValue,mergeCombiners,numPartitions=None,partitionFunc
哈士奇说喵·2020-08-02 22:34

Spark 2.0介绍：Dataset介绍和使用

SparkSession2.2第二步、读取数据并将它转换成Dataset2.3第三步、分割单词并且对单词进行分组2.4第四步、计数2.5第五步、打印结果3完整的代码Dataset介绍Dataset是从Spark1.6
技术蚂蚁·2020-08-02 21:04

七.SparkSQL之Dataset实战演练

一.概述Dataset是一个分布式的数据集,并且是spark1.6版本的新接口,有点就是强类型,支持lambda表达式,还提供了SparkSQL优化的执行引擎的优点.解释:针对SQL而言:seletcnamefromperson
飞翔的小宇宙·2020-08-02 13:52

spark读取不到kafka中的数据，本人踩坑记录

首先确定：自己的idea开发环境和spark集群的开发环境一致，jdk,scala版本都一直，而且在idea中测试可以消费到kafka集群中的数据：集群spark为1.6.1，本地idea也是spark1.6
学习笔记记录不为别人只为自己·2020-07-30 16:11

CDH5.11 离线安装或者升级spark2.x详细步骤

经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。
疯狂的暴走蜗牛·2020-07-30 12:19

CDH5(5.15.0)升级jdk1.7到1.8，并且将spark1.6升级到spark2.3

严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3一、JDK1.7升级到JDK1.8由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3
蜗牛!Destiny·2020-07-30 01:22

SparkCore（16）：Spark内存管理机制1.6之前和1.6+

一、Spark1.6之前（固定的值）1.架构图2.具体分配Spark应用中代码使用内存：你编写的程序中使用到的内存=>20%Spark数据缓存的时候用到的内存：60%=>spark.storage.memoryFractionSparkshuffle
RayBreslin·2020-07-30 01:59

【Spark开发必备技能】6-4-RDD/Dataset/DataFrame-Dataset常用方法

目录1、Dataset方法综述2、Dataset创建3、Encoder类创建4、Dataset方法5、Dataset转RDD1、Dataset方法综述Dataset是从Spark1.6开始引入的一个新的数据类型
Spark技术咖·2020-07-29 20:46

Spark 1.6 内存管理模型( Unified Memory Management)分析

2016年1月4号Spark1.6发布。提出了一个新的内存管理模型：UnifiedMemoryManagement。这篇文章会详细分析新的内存管理模型，方便大家做调优。
祝威廉·2020-07-29 17:06

Sentry ： Spark-sql 读取hive数据 权限问题

不支持Sentry对Hive列权限读的控制，设置列权限读，Spark-sql是无权限读取的对hive表某一列有读权限设置代码如下，jast_column用户有对hive表test的s2列读权限，这里使用spark1.6
jast_zsh·2020-07-29 02:48

《SparkSQL 4》--Spark内存分配

Spark1.6版本推出以后，Spark采用了统一内存管理模型。
yk_3215123·2020-07-29 01:52

spark 内存管理

从Spark1.6版本开始，Spark采用UnifiedMemoryManagement这样一种新的内存管理模型。Spark中的内存使用分为两部分：执行（execution）与存储（storage）。
wisgood·2020-07-28 23:58

spark dataframe用法

Dataset是分布式数据集，dataset的API是在spark1.6版本中添加地，它的初衷是为了提升RDD（强类型限制，可以使用lambda函数）优化SQL执行引擎。
呼啦圈521·2020-07-28 04:08

Spark 任务内存设置及分析调优

所以整理一篇博客记录下：先上一个看到比较好的博客,有时间在把自己的总结写下来：https://www.cnblogs.com/dreamfly2016/p/5720180.html一.Spark的内存划分,以spark1.6
lizhanjiang521b·2020-07-28 02:08

spark2.4.3 sparkSQL 用户自定义函数笔记

1、简介从Spark2.0以上的版本开始，spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext来实现对数据的加载、转换、处理等工作，并且实现了
cqi024442·2020-07-27 20:21

Spark动态内存源码总结

动态内存管理从Spark1.6开始引入，在SparkEnv.scala中的源码可以看到，Spark目前默认采用动态内存管理模式，若将spark.memory.useLegacyMode设置为true，则会改为采用静态内存管
BornZhu·2020-07-27 14:57

离线安装hadoop最新发行版本hdp2.4

hdp2.4是hortworks最新推出的100%开源的hadoop发行版本，其中包含了最新的spark1.6，冲着这点，使用离线方式安装最新的2.4版本。
i败火·2020-07-14 06:31
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他