E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark2.x
Spark SQL中掌控sql语句的执行 - 了解你的查询计划
本文翻译自BeinchargeofQueryExcutioninSparkSQL背景自
spark2.x
的sql以及申明行DataFrameAPi以来,在spark查询数据越来越方便。
鸿乃江边鸟
·
2024-01-27 08:18
基于
Spark2.x
新闻网大数据实时分析可视化系统项目
课程大纲第一章:案例需求分析与设计1.全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章:linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章:Hadoop2.X分布式集群部署1.Hadoop2.X版本下载及安装2.Hadoop2.X分布式集群配置3.分发到其他各个机器节点4.HDFS启动集
飞雪雪团队
·
2024-01-13 23:30
Spark权威指南(中文版)--第23章 生产环境中的结构化流
本书详细介绍了
Spark2.x
版本的各个模块,目前市面上最好的
Spark2.x
学习书籍!!!关注:登峰大数据,阅读中文Spark权威指南(完整版),系统学习Spark大数据框架!
登峰大数据
·
2023-12-29 06:00
Spark3-AQE-数据倾斜Join优化
AdaptiveQueryExection(自适应查询计划)简称AQE,在最早在spark1.6版本就已经有了AQE;到了
spark2.x
版本,intel大数据团队进行了相应的原型开发和实践;到了spark3.0
zuoseve01
·
2023-11-09 10:43
spark
spark 提交java_java中使用SparkLauncher提交spark应用
将开发好的sparkapplication(对于java/scala来说是jar)提交到spark集群执行的方式通常包括两种,一种是通常使用的sparksubmit脚本(
spark2.x
版本是spark2
米佗耶目
·
2023-10-10 18:15
spark
提交java
Spark之自定义AccumulatorV2
Spark2.x
之后,之前的的accumulator被废除,用AccumulatorV2代替;1.自定义AccumulatorclassStrAccumulatorextendsAccumulatorV2
阿坤的博客
·
2023-10-09 06:45
Spark-通信架构
Spark2.x
版本使用Netty通讯框架作为内部通讯组间。Spark基于Netty新的RPC框架借鉴了Akka中的设计,基于Actor模型。
布莱安托
·
2023-09-12 15:06
【Spark】用scala2.11编译打包构建镜像
而如果还在用
Spark2.x
版本的,至少在2.4.5的版本中,已经是将Scala2.12作为默认的Scala版本了,如果用户的程序是用Scala2.11写的,也需要将Spark
runzhliu
·
2023-08-24 21:38
Kubernetes
Spark
Spark2.x
精通:Master端循环消息处理源码剖析(二)
问题或建议,请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈从微信公众号拷贝过来,格式有些错乱,建议直接去公众号阅读上一篇文章
Spark2.x
精通:Master端循环消息处理源码剖析
大数据开发运维架构
·
2023-08-11 02:05
Spark3-AQE-数据倾斜Join优化
AdaptiveQueryExection(自适应查询计划)简称AQE,在最早在spark1.6版本就已经有了AQE;到了
spark2.x
版本,intel大数据团队进行了相应的原型开发和实践;到了spark3.0
蠟筆小噺没有烦恼
·
2023-08-06 13:34
Spark2.x
精通:Master端循环消息处理源码剖析(一)
问题或建议,请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈从微信公众号拷贝过来,格式有些错乱,建议直接去公众号阅读上篇文章:
Spark2.x
精通:Standalone模式Master
大数据开发运维架构
·
2023-08-03 12:57
基于Spark3的个性化推荐系统——理论知识
本博客整理自慕课网实战《基于
Spark2.x
的个性化推荐系统》目录一.推荐系统的生态介绍1.生态概述2.常见问题3.效果评测二.协同过滤推荐算法原理1.基于用户的协同过滤2.基于物品的协同过滤3.基于模型的协同过滤
程研板
·
2023-07-21 13:08
#
推荐系统
推荐系统
算法
协同过滤
机器学习
spark广播变量的原理_
Spark2.x
(六十二):(Spark2.4)共享变量 - Broadcast原理分析...
之前对Broadcast有分析,但是不够深入《Spark2.3(四十三):SparkBroadcast总结》,本章对其实现过程以及原理进行分析。带着以下几个问题去写本篇文章:1)driver端如何实现broadcast的装备,是否会把broadcast数据发送给executor端?2)executor如何获取到broadcast数据?导入Spark一个非常重要的特征就是共享变量。共享变量分为广播变
杨良枝
·
2023-07-18 15:14
spark广播变量的原理
Sparklyr
spark.rstudio.com安装Sparklyr:sparklyr::spark_install(version="2.3.0",hadoop_version="2.7"),不依赖于Spark版本,
spark2
Liam_ml
·
2023-04-19 12:45
PySpark:DataFrame及其常用列操作
为了解决上述问题,从
Spark2.x
开始,RDD被降级为
Sun_Sherry
·
2023-04-03 08:27
PySpark
PySpark
spark dataframe 如何保存到本地
在
Spark2.x
里面,可以直接使用以下命令df.write.format("csv").save(filepath)
zy_now
·
2023-03-28 06:00
Spark2.x
精通:TaskScheduler的Task任务提交源码剖析
问题或建议,请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈从微信公众号拷贝过来,格式有些错乱,建议直接去公众号阅读接上篇文章:
Spark2.x
精通:Job触发流程源码深度剖析(
大数据开发运维架构
·
2023-03-19 18:04
大数据--spark
在Spark1.x中,RDD是主要的应用程序编程接口(API),但从
Spark2.x
开始,鼓励使用数据集API[3],即使RDDAPI没有被弃用。[4][5]RDD技术仍然是Da
像影子追着光梦游_
·
2023-01-24 20:56
大数据
大数据
spark
java中使用SparkLauncher提交spark应用
将开发好的sparkapplication(对于java/scala来说是jar)提交到spark集群执行的方式通常包括两种,一种是通常使用的sparksubmit脚本(
spark2.x
版本是spark2
alexlee666
·
2021-06-20 23:06
Spark2.x
精通:Standalone模式Master节点启动源码剖析
微信公众号:大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议,请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈从微信公众号拷贝过来,格式有些错乱,建议直接去公众号阅读对于Spark生产环境部署模式通常是SparkStandalone或SparkOnYarn,这里我们跟踪下源码,分析Standalone模式下Master节点的启动流程,已经相关的初始化流程:源码版
大数据开发运维架构
·
2021-06-12 07:51
Spark2.x
机器学习视频教程
Spark2.x
机器学习视频教程课程学习址:http://www.xuetuwuyou.com/course/311课程出自学途无忧网:http://www.xuetuwuyou.com本课程讲解Spark
菜花小噗噗
·
2021-04-21 07:00
Spark2.x
机器学习视频教程
Spark2.x
机器学习视频教程讲师:轩宇老师课程观看地址:http://www.xuetuwuyou.com/course/311课程出自学途无忧网:http://www.xuetuwuyou.com
菜花小噗噗
·
2021-04-20 22:12
spark内核解析和调优指南
本文中阐述的原理基于
Spark2.X
版本。
HUC-暖阳
·
2021-04-12 17:05
spark技术篇
大数据之调优篇
mysql
spark
hadoop
hdfs
java
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析
AQE简介从sparkconfiguration,到在最早在spark1.6版本就已经有了AQE;到了
spark2.x
版本,intel大数据团队进行了相应的原型开发和实践;到了spark3.0时代,Databricks
鸿乃江边鸟
·
2020-12-07 09:37
spark
大数据
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析
AQE简介从sparkconfiguration,到在最早在spark1.6版本就已经有了AQE;到了
spark2.x
版本,intel大数据团队进行了相应的原型开发和实践;到了spark3.0时代,Databricks
鸿乃江边鸟
·
2020-12-01 19:24
spark
大数据
HCIA-Big Data华为认证大数据工程师在线课程笔记
文章目录一、简介二、HDFS分布式文件系统三、MapReduce分布式离线批处理和Yarn资源协调四、
Spark2.x
基于内存的分布式计算五、HBase分布式NoSQL数据库HBase架构关键流程和特性
L小Ray想有腮
·
2020-11-19 16:21
spark 合并github (pull request)pr 的正确姿势
最近在做内部spark版本升级的工作,涉及到github上合并pr的工作,具体的是
spark2.x
升级到spark3.0.1时兼容hdfscdh-2.6.0-5.13.1,报编译错误[INFO]Compiling25Scalasourcesto
鸿乃江边鸟
·
2020-11-13 11:58
spark
Spark2.X
java.net.URISyntaxException完美解决办法
windows下使用intellij开发sparkmllib程序发现如下错误。varspark=SparkSession.builder().master("local").appName("test").getOrCreate()运行时报错:6/08/1115:39:20INFOSharedState:Warehousepathis'file:D:\development\intellij_id
zhangjunli
·
2020-09-17 14:10
Spark
spark
spark2.x
URIException
spark2.x
由浅入深深到底系列七之py4j在spark中python api的使用
学习spark的任何技术前请先正确理解spark,可以参考:正确理解Spark我们知道spark的RDD支持scalaapi、javaapi以及pythonapi,我们分别对scalaapi与javaapi做了详细的介绍,本文我们将探讨rddpythonapi是怎么使用py4j来调用scala/java的api的,从而来实现pythonapi的功能。首先我们先介绍下py4j。一、py4jpy4j是
weixin_34318326
·
2020-09-17 03:12
大数据
python
scala
spark出现crossJoin笛卡尔积报错异常解决use the CROSS JOIN syntax to allow cartesian products between these
异常信息如下:原因:
Spark2.x
版本中默认不支持笛卡尔积操作解决办法:通过参数spark.sql.crossJoin.enabled开启,方式如下:spark.conf.set("spark.sql.crossJoin.enabled
木给哇啦丶
·
2020-09-16 12:49
spark
大数据
CDH5.16.1安装
Spark2.x
,简称CDS安装(图解官网安装)
CDH的官网都写的很详细,我们要学会看官网的步骤去安装,是最权威的文章目录一找到Spark在哪里二安装CDS2.1安装ServiceDescriptor步骤a步骤b步骤c步骤d2.2添加包裹仓库(parcelrepository)2.3CMS配置ParcelURL2.4下载,分发,激活2.5添加Spark2服务三运行example一找到Spark在哪里官网的文档地址:https://docs.cl
阿顾同学
·
2020-09-16 06:52
CDH
spark2
CDH5.14.4离线安装Spark2.2.0详细步骤
目录一、简介:二、安装准备三、开始安装四、spark-shell启动问题五、spark安装问题一、简介:在我的CDH5.14.4集群中,默认安装的spark是1.6版本,这里需要将其升级为
spark2.
北京小辉
·
2020-09-16 06:56
【大数据】CDH管理及优化
CDH5.16.2离线安装spark2.1
目录一、简介:二、安装装备二、开始安装三、添加和启动spark2服务一、简介:在我的CDH5.16集群中,默认安装的spark是1.6版本,这里需要将其升级为
spark2.x
版本。
小姚同學
·
2020-09-16 05:35
大数据
CDH
spark2
【Spark】
Spark2.x
版新特性
【Spark】
Spark2.x
版新特性一、API二、SQL三、性能四、SparkStreaming五、SparkMLlib六、Other一、API出现新的上下文接口:SparkSession,统一了SQLContext
太阳下的兰花草
·
2020-09-15 17:31
Spark
Spark2.x
与ElasticSearch的完美结合
2019独角兽企业重金招聘Python工程师标准>>>ElasticSearch(简称ES)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RestFulweb接口。ElasticSearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便的目地,当前在
weixin_33676492
·
2020-09-15 15:00
Spark 通讯架构详解
Spark通信架构概述
Spark2.x
版本使用Netty通讯框架作为内部通讯组件。
大数据小同学
·
2020-09-15 03:07
#
Spark内核调优
java
rpc
分布式
netty
kafka
Spark 2.x永久自定义函数编写
以前写过一篇spark1.6.x编写永久的自定义函数,今天补上写
spark2.x
永久自定义函数的步骤:1、使用scala语言编写自定义函数,
spark2.x
已经不在支持使用hive的方式加载函数Scala
wuzhilon88
·
2020-09-15 02:21
spark2.x
Spark2.x
如何实现自定义排序(利用元组,类--隐式转换Ordering,Ordered等实现)
版权声明:本文为博主原创文章,未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80200790交流QQ:824203453需求:对于有复杂排序条件的需求,可以利用自定义排序来实现,同时可以使用多种方案实现自定义排序需求。对指定的数据(字段分别为:名称年龄颜值,数据以空格分割),按照指定的要求排序,排序要求为:根
gssgch
·
2020-09-14 19:14
排序
Spark
spark2.x
CDH5.13离线并行安装Spark2.3
2019独角兽企业重金招聘Python工程师标准>>>简介:在我的CDH5.13集群中,默认安装的spark是1.6版本,这里需要将其升级为
spark2.x
版本。
weixin_33979363
·
2020-09-14 11:09
CDH5.13.3部署并升级
Spark2.x
前言:网上也有很多关于CDH部署的相关文档,但由于基础环境的差异和软件安装方式的不同,其部署方式也大同小异,每篇文章都值得借鉴,但都不能完全照搬,只有自己亲自做了才知道所以然。建议在部署的时候遇到问题第一时间不是搜索而是先去看日志,提高自己解决问题的能力。唯有实践才能出真理!!!一、基础环境规划1.1软件版本操作系统:Centos7.4 64位 JDK:jdk1.8.0_181Clouder Ma
御剑江湖载酒行
·
2020-09-14 11:42
大数据
Linux
hadoop
spark
hdfs
cloudera
mapreduce
Spark学习—— (5) RDD基础编程(基于Python)
虽然
Spark2.x
中建议使用效率更高的DataSet代替RDD,但还是有必要学习一下RDD的相关知识。本文第一部分简单介绍RDD的一些基本概念,第二部分则介绍RDD的常用操作并给出例子。
茵茵的聪聪
·
2020-09-14 02:10
大数据学习记录
并发编程模型AKKA
因为AKKA不同版本通讯不了,用户使用AKKA和spark中AKKA冲突,spark放弃维护AKKA等原因,在
spark2.x
后全更改成netty写的了
水墨风漾
·
2020-09-13 04:45
scala
spark
Spark2.x
在Idea中运行在远程集群中并进行调试
方法1把自己的电脑作为Driver端,直接把jar包提交到集群,此时Spark的Master与Worker会一直和本机的Driver端保持连接,调试比较方便。importorg.apache.spark.SparkContextimportorg.apache.spark.SparkConf objectWordCount{ defmain(args:Array[String]):Unit={
zhangjunli
·
2020-09-11 12:35
Spark
Hadoop
Idea
SparkStreaming整合Kafka(Offset保存在zookeeper上,
Spark2.X
+ kafka0.10.X)
先来一段到处都有的原理(出处到处都有,就不注明了)Streaming和Kafka整合有两种方式--Receiver和Direct,简单理解为:Receiver方式是通过zookeeper来连接kafka队列,Direct方式是直接连接到kafka的节点上获取数据Receiver:1、Kafka中topic的partition与Spark中RDD的partition是没有关系的,因此,在KafkaU
weixin_34068198
·
2020-09-11 11:43
1.scala安装及开发工具IDEA配置scala环境
1.1windows上安装scala:访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包,目前最新版本是2.12.x,但是目前大多数的框架都是用2.11.x编写开发的,
Spark2
挨踢正能量
·
2020-08-26 08:19
#
scala
执行pyspark报错env: ‘python’: No such file or directory问题
前提条件:Ubuntu16.04环境安装好
Spark2.x
,并配置好环境变量安装好python3问题:执行pyspark脚本报错$pysparkpyspark:line45:python:commandnotfoundenv
Hadoop_Liang
·
2020-08-26 08:30
问题
spark
CDH-5.9.2整合spark2
1.编写目的:由于cdh-5.9.2自带spark版本是spark1.6,现需要测试spark2新特性,需要整合spark2,且spark1.x和
spark2.x
可以同时存在于cdh中,无需先删除spark1
weixin_30239339
·
2020-08-24 16:07
spark2.1 新特性
在性能方面,
Spark2.x
有2~10倍的提升;在功能方面,SparkSQL中的Dataset变得成熟,
Spark2.x
通过Dataset重构了SparkStreaming和MLlib的API,进而使得这两个系统在易用性和性能方面有重大提升
wisgood
·
2020-08-24 04:16
spark
spark
spark2.0
spark新特性
在阿里云EMR上使用Intel Analytics Zoo进行深度学习
系统要求JDK8Spark集群(推荐使用EMR支持的
Spark2.x
)python-2.7(python3.5,3.6也支持),pip安装AnalyticsZooAnalyticsZoo最新的release
weixin_33881041
·
2020-08-24 03:02
Spark2.X
CSV文件 创建DataFrame
一、需求分析将CSV文件转为DataFrame,其中CSV包括无头文件和有文件。二、数据展示无头文件的CSV1,张飞,21,北京,802,关羽,23,北京,823,赵云,20,上海,884,刘备,26,上海,835,曹操,30,深圳,90.8有头文件的CSVid,name,age,city,score1,张飞,21,北京,802,关羽,23,北京,823,赵云,20,上海,884,刘备,26,上海
zhangjunli
·
2020-08-23 04:33
Spark
上一页
1
2
3
4
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他