Spark2.X

Spark2.X 分布式弹性数据集

1.三大弹性数据集介绍1）概念2）优缺点对比2.SparkRDD概述与创建方式1）概述在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（resilientdistributeddataset，RDD），它是逻辑集中的实体，在集群中的多台机器上进行了数据分区。RDD是Spark的核心数据结构，通过RDD的依赖关系形成Spark的调度顺序。通过对RDD的操作形成整个Spark程序。2）创
xl.zhang·2020-06-27 00:10

Spark2.X源码学习--从SparkContext创建分析AppClient注册

Spark核心类创建顺序：SparkConfig–SparkContext–SparkEnv–RpcEnv(持有了Driver的hostname和address)一个SparkContext代表了Spark运行的上下文，对应一个JVM进程，在创建一个新的SparkContext之前必须先stop已有的SparkContext。/***MainentrypointforSparkfunctional
Andy-L·2020-06-27 00:22

kylin2.0 安装与 Spark2.1 集成

apache-kylin-2.0.0-bin/kylinecho"exportKYLIN_HOME=/opt/kylin"source/etc/profile#修改find-spark-dependency.sh#由于spark2
胖蚂蚁_alleyz·2020-06-26 21:52

带你看懂Spark2.x源码之stage划分

在Spark底层源码中，最重要的莫过于Stage划分和Task分配两个算法的源码了。由于之前我也学习过1.6的源码，这次看2.2的源码发现有很多方法发生了修改，所以将我对2.2源码的分析与大家分析一下，希望可以共同学习。先通过action算子，调用runjob()方法，例如foreach算子defforeach(f:T=>Unit):Unit=withScope{valcleanF=sc.clea
NoBugPro·2020-06-25 20:03

Spark从入门到精通一----spark简介，spark的4种部署模式--spark2.x集群搭建-standalone集群

版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82778934交流QQ:824203453Spark概述什么是Spark（官网：http://spark.apache.org）spark中文官网：http://spark.apachecn.orgSpark是一种快速、通用、可扩展的
gssgch·2020-06-25 01:33

Spark2.X 集群安装（原生版详细）

Spark集群安装搭建最简单的三台主机的集群。hadoop001Masterhadoop002Workerhadoop003Worker详细步骤如下。1.下载spark安装包下载地址spark官网：http://spark.apache.org/downloads.htmlspark-2.0.2-bin-hadoop2.7版本.2.规划安装目录/opt/soft3.解压安装包tar-zxvfspa
少年阿峣_从零单排·2020-06-25 00:36

Spark2.X集群运行模式

1.几种运行模式介绍Spark几种运行模式：1）Local2）Standalone（Spark自己的集群管理）3）Yarn4）Mesos（Spark初期支持）下载IDEA并安装，可以百度一下免费文档。2.sparkStandalone模式配置并测试1）jdk1.8已经安装2）scala2.11.8已经安装3）Hadoop2.6.0已经安装4）SparkStandalone模式配置与测试a）配置sl
努力的凹凸曼·2020-06-24 20:39

Spark2.x 快速入门教程 1

Spark2.x课程介绍一、实验介绍1.1实验内容Spark是Apache高级项目里面较火的大数据处理的计算引擎，对比Spark1.x版本，Spark2.x有哪些改进，本节课主要讲解Spark2.x新特性
oxuzhenyi·2020-06-24 19:38

Spark权威指南(中文版)----第15章 Spark如何在集群环境运行

本书详细介绍了Spark2.x版本的各个模块，目前市面上最好的Spark2.x学习书籍！！！扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！
大数据辅导员·2020-06-23 03:57

Spark权威指南(中文版)----第14章 分布式共享变量

本书详细介绍了Spark2.x版本的各个模块，目前市面上最好的Spark2.x学习书籍！！！扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！
大数据辅导员·2020-06-23 03:57

Spark2.x学习笔记：4、Spark程序架构与运行模式

4、Spark程序架构与运行模式4.1Spark程序最简架构所有的Spark程序运行时，主要由两大类组件Driver和Excutor构成。每个Spark程序运行时都有一个Driver，Driver是进程包含了运行所需要的CPU和内存等资源，Driver是我们应用程序main函数所在进程。比如当我们运行一个spark-shell时，就创建了一个driver程序。Executor可以有多个，其职责是运
程裕强·2020-06-22 22:55

Structed Streaming写入数据到mysql，kafka中

structedstreaming是spark2.x之后更新的，一句话介绍就是比sparkstreaming更高级的api工具。举个例子，当我们做实时单词统计的时候，每一个批次的数据都能统计出来。
慕容馨磊·2020-06-22 11:01

大数据实战项目之新闻话题分析 学习笔记（九）

概述及版本下载Hue编译及安装Hue的基本配置与服务启动Hue与HDFS集成Hue与yarn集成Hue与MySql集成Hue与HBase的集成对采集的数据进行可视化分析Hue需要注意的几个地方第17章：Spark2
爱学习的Neehong·2020-06-22 05:19

Spark 3.0发布啦，改进SQL，弃Python 2，更好的兼容ANSI SQL，性能大幅提升

ApacheSpark3.0.0正式发布啦，ApacheSpark3.0是在Spark2.x的基础上开发的，带来了新的想法和功能。
老夫编程说·2020-06-22 04:00

Spark2.x详解

Spark2.x1.Spark初始1.1:什么是Spark1.2:Spark与mapreduce的区别2.SparkCore2.1:RDD2.2:Spark任务执行原理2.3:代码流程2.4:Transformations转换算子2.5:Action行动算子2.6:控制算子3.Spark2.x安装3.1:下载安装包3.2:解压并改名3.3:配置slaves文件3.4:配置spark-env.sh文
LssTwl·2020-06-22 00:47

新闻实时分析系统 Spark2.X分布式弹性数据集

1.三大弹性数据集介绍1）概念2）优缺点对比2.SparkRDD概述与创建方式1）概述在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（resilientdistributeddataset，RDD），它是逻辑集中的实体，在集群中的多台机器上进行了数据分区。RDD是Spark的核心数据结构，通过RDD的依赖关系形成Spark的调度顺序。通过对RDD的操作形成整个Spark程序。2）创
weixin_30730151·2020-06-21 10:12

新闻实时分析系统 Spark2.X集群运行模式

1.几种运行模式介绍Spark几种运行模式：1）Local2）Standalone3）Yarn4）Mesos下载IDEA并安装，可以百度一下免费文档。2.sparkStandalone模式配置并测试1）jdk1.8已经安装2）scala2.11.8已经安装3）Hadoop2.5.0已经安装4）安装SparkStandalonea）配置slavevislavesbigdata-pro01.kfk.c
weixin_30730151·2020-06-21 10:41

Spark 2.x 机器学习实战（算法篇：基于Kaggle竞赛数据集，六大算法模型构建）

Spark2.x机器学习实战（算法篇：基于Kaggle竞赛数据集，六大算法模型构建）百度网盘下载地址：https://pan.baidu.com/s/1x8_h9D7SBQh_htpw7BkQVA提取码
相爱1生·2020-05-04 15:51

spark内存溢出及其解决方案

spark2.x的内存模型oom通常出现在execution内存中，因为storage这块内存在放满之后，会直接丢弃内存中旧的数据，对性能有点影响但不会导致oom。
becooner·2020-04-16 10:39

spark2.x依赖包POM

4.0.0com.jbsxtspark-project0.0.1-SNAPSHOTjarspark-projecthttp://maven.apache.orgUTF-8junitjunit3.8.1testorg.apache.sparkspark-core_2.101.5.1org.apache.sparkspark-sql_2.101.5.1org.apache.sparkspark-hiv
Albert陈凯·2020-04-10 03:46

Spark 2.X 上累加器(Accumulators)不能用了？原来如此

本文基于Spark2.1.0版本今天整理累加器的知识点时，发现实例化一个Accumulator对象，编译无法通过：Spark2.x版本使用Accumulator类时编译出错，提示类过时查了一下Spark2
俺是亮哥·2020-03-19 08:38

Spark 2.x项目实战视频教程（实时统计、离线分析和实时ETL）

Spark2.x项目实战视频教程（实时统计、离线分析和实时ETL）课程学习地址：http://www.xuetuwuyou.com/course/309课程出自学途无忧网：http://www.xuetuwuyou.com
菜花小噗噗·2020-03-17 17:37

spark源码----Spark 通讯架构

Spark通信架构概述Spark2.x版本使用Netty通讯框架作为内部通讯组件。
没有合适的昵称·2020-02-29 17:55

大数据Structured Streaming教程1:概念及使用

在Spark2.x中，新开放了一个基于DataFrame的无下限的流式处理组件——StructuredStreaming，它也是本系列的主角，废话不多说，进入正题吧！
哈哈哈_53b3·2020-02-23 03:04

Spark组件间通信

Spark2.x之前使用的是Akka作为底层框架来实现Actor模型的，Spark
JaxYoun·2020-02-20 18:00

Spark组件间通信

Spark2.x之前使用的是Akka作为底层框架来实现Actor模型的，Spark
JaxYoun·2020-02-20 18:00

CDH 5.13安装spark2

这里需要将spark升级到spark2.x版本，以方便使用spark程序读取kafka0.10.x的数据。根据官网上的介绍可知CDH5.13是支持spark2.x的。
bigdata_er·2020-02-18 01:36

【2018-04-10】【2.1.1】spark sql操作mysql和hdfs

spark2.X与1.x的区别sparksql2.x以上版本和1.x版本有个很大的区别：spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
jackLee·2020-01-07 04:45

184、Spark 2.0之Spark 2.x与1.x对比以及分析

Spark2.x与1.x对比Spark1.x：SparkCore（RDD）、SparkSQL（SQL+Dataframe+Dataset）、SparkStreaming、SparkMLlib、SparkGraphxSpark2
ZFH__ZJ·2019-12-31 21:48

RDD、DataFrame和DataSet的区别

spark2.X开始，三者的关系发生了变化，可以参考《且谈ApacheSpark的API三剑客：RDD、DataFrame和Dataset》,在2.X中DataFrame=DataSet[Row],其实是不知道类型
jacksu在简书·2019-12-31 05:40

Spark SQL之 Dataframe/Dataset

该文章所有内容截选自实验楼教程【Spark2.x快速入门教程】第二节内容~一、实验介绍1.1实验内容从Spark2.0始支持了SQL2003准语法。
实验楼·2019-12-18 09:28

Spark 1.6升级2.x防踩坑指南

原创文章，谢绝转载Spark2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于
StanZhai·2019-11-29 22:41

Spark2.X ML中Pipeline详解、特征转换和决策树分类算法的使用

Spark中有关机器学习的库已经在从MLlib往ML逐步迁移了，MLlib库也将在Spark3.0后停止维护，所以我们需要尽快熟悉ML库。在SparkML库中，核心数据对象由RDD变为了DataFrame，同时，ML库中有一些特征转换的方法，并提供了Pipeline这一工具，可以使用户很方便的将对数据的不同处理组合起来，一次运行，从而使整个机器学习过程变得更加易用、简洁、规范和高效。本文将介绍使用
那记忆微凉·2019-10-12 15:07

Hadoop MapReduce Spark 配置项

适用范围本文涉及到的配置项主要针对Hadoop2.x，Spark2.x。
walker·2019-09-23 06:59

spark2.x读取csv文件

spark2.x读取csv文件,写入到文件系统中(例如hdfss3或者本地)println("day:::"+day)ss.read.format("csv").option("header","true
功夫老五·2019-09-10 15:03

案例为王，实战为主，基于spark2.x机器学习十大案例全方位剖析

课程下载地址：https://pan.baidu.com/s/1LuffQVoVjJjDkN3jT2TfQA提取码:ytyc本课程主要讲解SparkMLlib，SparkMLlib是一种高效、快速、可扩展的分布式计算框架；实现了常用的机器学习，如：聚类、分类、回归等算法。本课拒绝枯燥的讲述，将循序渐进从Spark的基础知识、矩阵向量的基础知识开始，然后再透彻讲解各个算法的理论、详细展示Spark源
qq5d5a5a39ddd7c·2019-08-30 15:06

Spark SQL中出现 CROSS JOIN 问题解决

SparkSQL中出现CROSSJOIN问题解决1、问题显示如下所示：UsetheCROSSJOINsyntaxtoallowcartesianproductsbetweentheserelation2、原因：Spark2
鸿燕藏锋·2019-08-09 12:39

Spark项目实战学习电商项目

该项目源码中是用Java开发的，分析计算多用的是sparkcore，我在实践这个项目的时候，spark2.x已有了，性能应该比1有提升，所以关于spark部分我基本用的都是SparkSql，并且用scala
maozicb·2019-08-09 08:32

Spark2.x源码阅读之SparkContext

本文主要介绍SparkContext中的主构造方法里面的内容，即初始化过程，其中调用的方法留到后面讲解。try{_conf=config.clone()//拷贝配置文件_conf.validateSettings()//验证配置文件是否有错if(!_conf.contains("spark.master")){//没有设置Master则报错thrownewSparkException("Amast
LMRzero·2019-06-19 09:55

基于Spark2.X系列的累加器和Streaming基础

一、累加器API关于累加器，前面我也写了一篇博客，顺便粘贴这儿，对比学习，Spark学习之编程进阶总结(一)。Spark2.0系列引入了一个更加简单和更高性能的累加器API，如在1.X版本中可以这样使用累加器：valsparkSession=SparkSession.builder().master("local").appName("wordcount").getOrCreate()valsc=
|旧市拾荒|·2019-05-21 21:00

执行pyspark报错env: ‘python’: No such file or directory问题

前提条件：Ubuntu18.04环境安装好Spark2.x，并配置好环境变量安装好python3问题：执行pyspark脚本报错$pysparkpyspark:line45:python:commandnotfoundenv
_Zephyrus_·2019-05-15 09:32

本地IDEA中使用Spark SQL 连接服务器Hive

1.复制hive-site.xml将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下2.修改入口Spark2.x版本将SparkContext和
jzy3711·2019-02-19 16:43

184、Spark 2.0之Spark 2.x与1.x对比以及分析

Spark2.x与1.x对比Spark1.x：SparkCore（RDD）、SparkSQL（SQL+Dataframe+Dataset）、SparkStreaming、SparkMLlib、SparkGraphxSpark2
ZFH__ZJ·2019-02-11 13:00

搜狐实验室 新闻点击量项目

新闻项目大数据实时可视化分析项目项目托管到码云第一章技术点Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL
chixushuchu·2018-12-29 10:37

Spark Streaming & Structured Streaming分析

Spark2.x中也推出了全新的基于Dataframe/Dataset的StructuredStreaming流式计算
chixushuchu·2018-12-27 10:48

Spark2.x源码分析---spark-submit提交流程

本文以sparkonyarn的yarn-cluster模式进行源码解析，如有不妥之处，欢迎吐槽。步骤1.spark-submit提交任务脚本spark-submit--class主类路径\--masteryarn\--deploy-modecluster\--driver-memory申请driver内存\--executor-memory申请每个executor内存\--executor-cor
启明龍·2018-10-29 11:33

Spark作业运行架构原理解析

需要注意的是，这里是基于Spark2.x以下的版本，因为在之前，底层通信是基于AKKAACTOR的方式，但是之后就是使用RPC的方式了。
xpleaf·2018-10-05 11:41

在CDH5.14上离线安装Spark2.3

我们现在可以现有的集群中再装spark2.x版本，能和spark1.6版本并存。
常飞梦·2018-08-30 17:53

CDH5.15集成spark2

CDH5.15集成spark2简介：在我的CDH5.15集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。
HarSenZhao·2018-08-15 09:15

Spark之RDD编程快速入门

注：笔者用的spark1.6.3版本的，计划是用spark1.x版本大致了解一遍spark，然后再用spark2.x正式玩玩。
在屋顶听歌·2018-08-03 13:47
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他