Spark学习之路

Pyspark

文章目录一、SparkCore1.SparkContext:2.SparkSession3.RDD4.Broadcast、Accumulator:5.Sparkconf6.SparkFiles7.StorageLevel
李明朔·2024-01-23 12:24

Spark(三十四)troubleshooting之解决yarn-cluster模式的JVM内存溢出无法执行问题

一、背景实践经验，碰到的yarn-cluster的问题：1、有的时候，运行一些包含了sparksql的spark作业，可能会碰到yarn-client模式下，可以正常提交运行；yarn-cluster模式下
文子轩·2024-01-23 12:06

【Linux】编译器gcc/g++的使用

️作者：@malloc不出对象⛺专栏：Linux的学习之路个人简介：一名双非本科院校大二在读的科班编程菜鸟，努力编程只为赶上各位大佬的步伐目录前言一、gcc/g++的介绍二、程序的翻译环境2.1链接2.2
malloc不出对象·2024-01-23 11:52

鸿蒙开发-OpenHarmony轻量系统之获取当地时间

环境OpenHarmony3.1润和hispark_pegasusHi3861开发板DevEcoDeviceTool串口调试助手SNTP
移动开发技术栈·2024-01-23 11:21

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-23 09:45

Spark解析JSON文件，写入hdfs

一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。解析JSON这里没有什么问题。
gegeyanxin·2024-01-23 09:42

Spark UI中 Shuffle Exchange 和 BroadcastExchange 中的 dataSize 值为什么不一样

背景Spark3.5最近在看SparkUI上的一些指标看到一个很有意思的东西,相邻的ShuffleExechange和BroadcastExechange中的datasize居然不一样，前者为765KB
鸿乃江边鸟·2024-01-23 09:07

kafka的基本使用--学习笔记

catalyst引擎作用：将SparkSql转换成sparkrdd任务提交进行计算解析器将sparksql代码解析成语法树(未解析的逻辑查询计划)分析器将语法树解析成解析后的逻辑查询计划对逻辑查询计划进行属性和关系关联检验优化器将解析后的逻辑查询计划进行优化
祈愿lucky·2024-01-23 08:32

林玉从零学古筝<日记版>35

林玉从零学古筝日记版前言从此刻我要记录我的古筝学习之路，每个人心中都有一个音乐梦，而我不早不晚在这个时候选择去学习古筝，因为我可以自己选择，自己负责，而不是别人决定。
林玉陪伴星球·2024-01-23 07:24

map与flatmap区别

Spark中map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；-而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：操作1：同map函数一样：对每一条输入进行指定的
不加班程序员·2024-01-23 06:25

用graphx实现Bronkerbosch计算极大团

 请结合Bronkerbosch算法描述查看，该方法是在朴素的Bronkerbosch算法上进行改进，属于 带轴的Bron_Kerbosch算法importorg.apache.spark.graphx
不加班程序员·2024-01-23 06:25

Spark中字符串和json、map格式相互转化

Spark中字符串和json格式相互转化字符串转为mapimportorg.json4s.DefaultFormatsimportorg.json4s.jackson.JsonMethods.parsevalad
不加班程序员·2024-01-23 06:54

zeppelin部署文档

后台支持接入多种数据处理引擎，如spark，hive等。
不加班程序员·2024-01-23 06:54

通过Spark向Kafka写入数据

1、·将KafkaProducer利用lazyval的方式进行包装packagecn.com.m.utilimportjava.util.concurrent.Futureimportorg.apache.kafka.clients.producer.{KafkaProducer,ProducerRecord,RecordMetadata}classKafkaSink[K,V](createPro
不加班程序员·2024-01-23 06:24

Spark运行流程

参考博文：https://blog.csdn.net/qq_17677907/article/details/88685705ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。
Cool_Pepsi·2024-01-23 02:12

数据操作——无类型的转换算子

无类型的转换算子以下算子有@Test的前置条件//1.创建SparkSessionvalspark=SparkSession.builder().appName("trans_test").master
我像影子一样·2024-01-23 02:36

数据操作——Column 对象

对每条数据都生成一个值2.Column对象如何创建’单引号’在Scala中是一个特殊的符号,通过’会生成一个Symbol对象,Symbol对象可以理解为是一个字符串的变种,但是比字符串的效率高很多,在Spark
我像影子一样·2024-01-23 02:34

少儿英语：学得与习得

很多家长对此傻傻分不清楚，实际上学会分清“习得”与“学得”，对于少儿英语教学来说意义重大，它可以帮我们看清各种教学方法的利弊，帮助我们为孩子选择高效科学的英语学习之路。那么，什么是“习得”？
瑞丁悦读书房·2024-01-23 02:51

一起走的学习之路(341)

新房子的装修基本上告一段落了，但是在整个装修的过程中确是也出现了非常多的小插曲。昨天基本上算是装修的收尾工作了，见过就在昨天，两个月前订的那个床的卖家告诉我承在运过来的途中被快递弄断了，所以现在只有几个选择给我。要么等着他继续给我做，要么就退款。等两个月之后是这样一个结果，所以当时自己挺生气的，就决定了要退款，并且决定在其他家确定相应的桌子和床。本来以为这件事就这样解决了，可是在我申请退款的时候，
小米雨路·2024-01-22 23:06

评《避风港》

今天要说的这本小说名字叫《避风港》，作者是尼古拉斯•斯帕克思（NicholasSparks）尼古拉斯•斯帕克思（NicholasSparks），美国超级畅销小说作家，美国纯爱小说天王，被称为“全世界最擅长说故事的人
是斑大人呀·2024-01-22 21:01

(转)Spark Streaming遇到问题分析

parkStreaming遇到问题分析1、Spark2.0之后搞了个StructuredStreaming还没仔细了解,可参考：https://github.com/lw-lin/Coo...2、Spark
达微·2024-01-22 20:06

大数据学习之 Flink

目录一：简介二：为什么选择Flink三：哪些行业需要四：Flink的特点五：与sparkStreaming的区别六：初步开发七：Flink配置说明八：环境九：运行组件一：简介Flink是一个框架和分布式得计算引擎
会编程的海贼王·2024-01-22 19:58

大数据之Flink的看了就可入门

2Flink对比SparkSpark是一种基于内存的
大数据的江湖·2024-01-22 19:56

大数据学习之Flink，10分钟带你初步了解Flink

流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVSSpark1
十二点的泡面·2024-01-22 19:23

Spark消费Kafka的两种方式

原理如何保证数据不丢失但是会导致数据重复问题优点缺点Direct(NoReceiver)方式code特点优点缺点介绍kafka版本，kafka0.8支持Receiver和DirectKafka版本大于等于0.10.0，且Spark
这个程序猿可太秀了·2024-01-22 17:57

AQE优化和源码

介绍AQE全称是AdaptiveQueryExecution，官网介绍如下PerformanceTuning-Spark3.5.0DocumentationAQE做了什么AQE是SparkSQL的一种动态优化机制
这个程序猿可太秀了·2024-01-22 17:56

Spark简介

1、什么是SparkSpark是大数据的调度，监控和分配引擎。
shinelord明·2024-01-22 17:17

node.js的学习之路 2018-03-27

之前对于node的使用都是基于一些webpack前端工具和一些脚手架这样的，但是最近由于项目需要，可能要用到node做了中间层所以今天就对于node进入深入学习，记录下学习的过程和在学习过程中遇到的坑，避免以后再踩坑，有类似需求的朋友们也可以看一下，如果有不对的地方也欢迎提出来，相互学习。好了我们接下来看开学习的的过程拉一安装node这里就不多说了安装node很简单的我用的window所以用win
张益达_pearl·2024-01-22 15:08

一起走的学习之路(296)

做一个合格投资人说实话，我好像真的没有投资天赋，一方面是自己对这个东西不感冒，没有兴趣，另一方面自己也不愿意花时间去研究，总想花最少的精力赚最多的钱。以前，自己也有过投资的体验，记得才参加工作的时候，我和方同学也有一个机会去做投资，当时就是我们俩的一个朋友开了一个药店，在我们对这个行业一点都不了解，而且对这个药店的地理位置一点都不了解，对店铺的运营情况一点都不了解的情况下，我们拿了2万块钱去做投资
小米雨路·2024-01-22 14:01

spark web框架--play framework 安装与运行

目前网上关于playframework框架的安装配置都是低版本的，现就高版本问题进行编写：1、下载https://www.playframework.com/（1）play2.3之前的版本都是压缩包zip，解压后，命令行运行play旧版本，即早于2.2的Play版本打包在zip文件中。提供了play创建新应用程序、运行测试和运行应用程序的命令。（2）playframework高版本配置高版本的Pl
huazi99·2024-01-22 13:37

30、Spark内核源码深度剖析之Spark内核架构深度剖析

Spark内核架构深度剖析.png就上面这幅图，详细解释一下自己编写的Application，就是我们自己写的程序，拷贝到用来提交spark应用的机器，使用spark-submit提交这个Application
ZFH__ZJ·2024-01-22 12:43

48、Spark性能优化之性能优化概览

Spark性能优化概览由于Spark的计算本质是基于内存的，所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。
ZFH__ZJ·2024-01-22 11:31

Spark - 升级版数据源JDBC2

>在spark的数据源中，只支持Append,Overwrite,ErrorIfExists,Ignore,这几种模式，但是我们在线上的业务几乎全是需要upsert功能的，就是已存在的数据肯定不能覆盖，
kikiki5·2024-01-22 10:41

Android学习之路(22) 从模块化到组件化

从模块化到组件化一、从模块化到组件化Android应用项目,都存在一个应用模块(ApplicationModule),在build.gradle构建脚本中,第一个插件配置com.android.application,表明该Module编译打包后的输出是APK安装包;该项目可以直接运行;plugins{id'com.android.application'id'kotlin-android'}如果
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-01-22 10:51

Android学习之路(22) ARouter原理解析

1.ARouter认知首先我们从命名来看:ARouter翻译过来就是一个路由器。官方定义：一个用于帮助AndroidApp进行组件化改造的框架——支持模块间的路由、通信、解耦那么什么是路由呢？简单理解就是：一个公共平台转发系统工作方式：1.注册服务：将我们需要对外暴露的页面或者服务注册到ARouter公共平台中2.调用服务：调用ARouter的接口，传入地址和参数，ARouter解析传入的地址和参
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-01-22 10:51

Android学习之路(23)组件化框架ARouter的使用

一、功能介绍支持直接解析标准URL进行跳转，并自动注入参数到目标页面中支持多模块工程使用支持添加多个拦截器，自定义拦截顺序支持依赖注入，可单独作为依赖注入框架使用支持InstantRun支持MultiDex(Google方案)映射关系按组分类、多级管理，按需初始化支持用户指定全局降级与局部降级策略页面、拦截器、服务等组件均自动注册到框架支持多种方式配置转场动画支持获取Fragment完全支持Kot
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-01-22 10:48

Spark groupByKey和reduceByKey

我们通过简单的WC看看两者的区别groupByKey实现WCscala>valrdd=sc.parallelize(List(1,1,2,2,3,3)).map((_,1))rdd:org.apache.spark.rdd.RDD
喵星人ZC·2024-01-22 09:23

re:从0开始的HTML学习之路 6. 列表标签

1.列表标签可以整齐有序的展示一些内容2.无序列表使用ul标签创建无序列表使用li标签创建列表项项目1项目2项目33.有序列表使用ol标签创建有序列表使用li标签创建列表项项目1项目2项目34.定义列表使用dl标签创建定义列表使用dt标签创建需要描述的项目使用dd标签创建对项目的描述中国三大中心文化中心金融中心洗浴中心列表可以嵌套，就像这样，无序列表套有序列表济南市历城区历下区深圳市宝安区南山区
扶摇|·2024-01-22 08:13

re:从0开始的HTML学习之路 7. 图片标签

1.图片标签可以向网页中引入一张图片img标签引入图片img是一个自结束标签2.标签的属性src：指定需要插入图片的路径（本地路径，网络路径）alt：替换文本，图片无法正常显示时，替换的文本（有助于搜索引擎对图片的识别）title：提示文本，鼠标停放在图片上时，提示的文本width、height：设置图片的宽度和高度，单位是像素二者设置其中任意一个，另一个会等比例缩小通常不设置图片的宽和高，因为大
扶摇|·2024-01-22 08:13

re:从0开始的HTML学习之路 8. 路径问题

1.路径问题（重要）无论使用哪种语言编写应用程序，路径问题都至关重要，只要需要引入资源，必定使用路径2.物理路径比如在我的电脑上，图片所在的路径是D:\Working\WEB\dream.gif如果在HTML中用物理路径引入图片，并在vscode中右键用LiveServer运行，就会发现找不到图片，但在磁盘中打开的话就可以找到这样的话并不能找到图片文件系统：通常使用Windows操作系统，项目完成
扶摇|·2024-01-22 08:13

re:从0开始的HTML学习之路 0.编辑器安装配置、HTML标准结构生成

写在前面感觉学AI好痛苦，还是学点别的吧hh1.安装一个自己会用的编辑器此时选择了VSCode安装一些插件：汉化(可有可无)，LiveServerLiveServer的作用：可以不需要在文件里双击运行(HTML的运行就是在浏览器打开啦）直接右键openwithLiveServer就可以运行写好的HTML文件了或者点点右下角的GOLive多尝试尝试。PS:使用的主题是onedarkpro，字体是fi
扶摇|·2024-01-22 08:43

re:从0开始的HTML学习之路 9.超链接

1.超链接使用a标签创建超链接超链接的属性href：用于指定跳转到目标页面的地址target：用于指定以什么方式打开页面可选值：_self：当前窗口打开，默认值_blank：新窗口打开2.各种链接介绍外部页面链接百度一下百度两下内部页面链接内部链接语义化标签空链接无指定页面，跳转到当前页面，可以实现“回到顶部”功能毫无反应链接下载链接：若链接的路径是一个文件，则为下载链接下载链接给其他网页元素添加
扶摇|·2024-01-22 08:43

re:从0开始的HTML学习之路 2. HTML的标准结构说明

1.文档声明，用于告诉浏览器，当前HTML文档采用的是什么版本。必须写在当前HTML文档的首行（可执行代码的首行）HTML4的此标签与HTML5不同。2.根标签，整个HTML文档中所有标签都必须包裹在HTML根标签中lang：用于说明当前文档使用的语言。如：en为英文，zh-CN为中文，这个标签会影响浏览器的翻译提示，如果浏览器默认为中文，网页lang=en，那么Chrome就会弹出一个翻译提示（
扶摇|·2024-01-22 08:40

史上最全深度解析Flink内存管理--大数据技术

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如ApacheHadoop，ApacheSpark，ApacheDrill，ApacheFlink等。
大数据学习僧·2024-01-22 08:50

Flink是如何管理内存的

在讲Flink管理内存之前要了解下Flink为什么要自己实现内存管理一、Flink为什么要自己实现内存管理在大数据领域，大多数数据相关的开源框架（Hadoop、Spark、Storm）都是基于JVM运行的
Relian哈哈·2024-01-22 08:13

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

spark 入门教程

一、安装scala环境官网下载地址Download|TheScalaProgrammingLanguage,本次使用版本为sacla2.11.12,将压缩包解压至指定目录，配置好环境变量，控制台验证是否安环境是否可用：二、添加pom依赖创建一个maven项目1、添加scala的sdk依赖2.11.12org.scala-langscala-library${scala.version}org.sc
fengchengwu2012·2024-01-22 07:02

django基于spark的电影推荐系统(程序+开题)

因此，基于Spark的电影推荐系统的研究具有重
liu10665·2024-01-21 21:35

Spark读取Hbase内容

不啰嗦直接看代码//初始化Hbase的基本配置valhbaseConf=HBaseConfiguration.create()hbaseConf.set("hbase.zookeeper.quorum","地址")valscan=newScan();scan.addFamily(Bytes.toBytes("c"))//要读取的列簇scan.setTimeStamp(timeStamp)//指定一
小湘西·2024-01-21 20:11

Spark 读取ElasticSearch

不啰嗦先上代码/***初始化spark*/valsparkName="Read_ES"valsparkConf=newSparkConf().setAppName(sparkName).set("spark.serializer
小湘西·2024-01-21 20:11
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他