——Spark 第47页

Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

最着名的例子是ApacheHadoop，还有较新的框架，如ApacheSpark、ApacheDrill、ApacheFlink。

zhisheng_blog·2023-11-20 23:03

Flink源码分析（一）RPC通信和JobManager启动

写在前面1.FlinkRPC详解Flink使用Akka+Netty框架实现RPC通信，之前在spark框架源码剖析过程中已经对Akka实现RPC通信过程有所介绍，这里不做过多描述。

星星点灯1996·2023-11-20 23:03

IDEA连接HIVE，踩坑日志-Failed initialising database.

今天使用idea本地连接Linux的hive数据库遇到了问题，代码如下：defmain(args:Array[String]):Unit={valsparkConf=newSparkConf().setAppName

辅猪之王·2023-11-20 23:49

azkaban二次开发

springboot封装azkaban的api，提供可调用azkaban任务流的接口流程如下：springboot接口->azkabanapi->azkabanproject(flowtasks)->shell脚本->sparktasksApi

都教授2000·2023-11-20 23:03

kafka_consumer不消费数据的问题排查

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看

都教授2000·2023-11-20 23:32

拉链表-spark版本

采用spark实现的拉链表拉链表初始化importorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.functions.lit/**

都教授2000·2023-11-20 22:22

Spark 之 format

sparksql默认写的文件格式如果是hive表，走的是这里'defgetDefaultStorage(conf:SQLConf):CatalogStorageFormat={//Torespecthive-site.xml

zhixingheyi_tian·2023-11-20 21:08

Spark 平障录

利用好sparkUI和yarncontainerlog分析业务代码，对其计算代价进行预判建设基准，进行对比，比如applicationid进行对比，精确到jobDAG环节充分利用UIStage页面页头summary

zhixingheyi_tian·2023-11-20 20:32

CENTOS上的网络安全工具（二十六）SPARK+NetSA Security Tools容器化部署(2)

〇、抓包与批量转换cap文件1.NetworkMonitor抓包我们在CENTOOS上的网络安全工具（十七）搭建Cascade的Docker开发环境中捎带脚介绍了以下windows下的抓包软件。大意就是微软又一款不错的抓包分析软件，名曰nmcap，可在DownloadMicrosoftNetworkMonitor3.4(archive)fromOfficialMicrosoftDownloadCe

lhyzws·2023-11-20 20:21

你在使用大数据技术的时候，你知道大数据语言的工具与框架吗？

Python，Spark，Kafka随着大数据和对人工智能AL/机器学习ML的推动，Scala和Python语言以及ApacheSpark中越来越受欢迎。对OLAP数据仓库的迁移，如果用Python

yoku酱·2023-11-20 19:25

如何应对大数据分析工程师面试Spark考察，看这一篇就够了

作者丨斌迪、HappyMint来源丨大数据与人工智能（ID:ai-big-data）【导读】本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结

AI科技大本营·2023-11-20 18:22

2019-09-06bigo面试

小小肖肖冲鸭·2023-11-20 17:06

一文学会使用Scala

IntroduceScala上一门纯面向对象的函数式编程语言，其主要贡献以及备受欢迎大概是因为其是Spark的开发语言（个人观点）。

算法小白_gyl·2023-11-20 13:47

三十分钟学会SCALA

可以让程序短小精悍，看起来更简洁，更优雅；Scala是静态类型的：Scala拥有非常先进的静态类型系统，支持类型推断和模式匹配等；Scala可以开发大数据应用程序：例如Spark、Flin

地球魔·2023-11-20 12:04

AIGC创作系统ChatGPT源码，支持最新GPT-4-Turbo模型，支持DALL-E3文生图

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-11-20 12:37

07-Hive优化---高级部分3

一、Hive优化大数据的学习：1、学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%

YuPangZa·2023-11-20 12:24

大数据流处理框架：Spark Streaming与Storm

Hadoop之后，Spark和Storm在流处理上成为对手。今天的大数据入门分享，我们就主要来讲讲，流处理框架SparkStreaming与Storm。

成都加米谷大数据·2023-11-20 12:20

LLM模型-讯飞星火与百度文心api调用

spark-wenxin1-讯飞星火1_1-SparkApi.py1_2-Chat_spark.py1_3-调用api2-百度文心2_1.code3-两者之间比较与openai1-讯飞星火进入讯飞官网进行创建应用

Elvis_hui·2023-11-20 10:39

机器学习模型开发必读：开源数据库最全盘点

类似于TensorFlow、Torch和Spark这样的开源工具，在AI开发者群体中已是无处不在。

isuccess88·2023-11-20 07:57

大数据学习（22）-spark

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Spark是一个基于内存计算的大数据并行计算框架，具有快速、易用

viperrrrrrr·2023-11-20 07:23

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark

kikiki2·2023-11-20 06:12

Spark系列之SparkSubmit提交任务到YARN

title:Spark系列第十三章SparkSubmit提交任务到YARN13.1SparkSubmit提交的一些参数解释local本地单线程local[K]本地多线程（指定K个内核）local[*]本地多线程

落叶飘雪2014·2023-11-20 04:28

Scala_scopt 解析命令行参数

一、说明1、在做spark项目时，在命令行提交任务时，可以利用--参数名：参数进行动态传参；2、操作步骤(1)首先写个表示配置的caseclass类，里面为每一个参数指定默认值；(2)Config配置对象作为参数传递给

郝少·2023-11-20 04:53

Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile问题解决

解决方法1转载：http://www.cnblogs.com/war3blog/p/7864804.html在编译spark源码的时候老师报类似的错误然后在spark文件夹下的pom.xml里加入如下依赖

xiaoliuyiting·2023-11-20 03:51

IDEA+Maven构建scala项目【一篇就够】

一、新建项目输入项目名称：SparkDemo_WordCount，点击“完成”项目创建成功，如下所示："C:\ProgramFiles\Java\jdk1.8.0_45\bin\java"-Dmaven.multiModuleProjectDirectory

sjmz30071360·2023-11-20 03:48

Process exited with an error: -10000 (Exit value: -10000）以error: java.lang.StackOverflowError为起源

Processexitedwithanerror:-10000(Exitvalue:-10000）1.问题描述编译一段spark-scala程序时，打包文件失败，由于之前也偶发性存在这种问题，关闭其他应用

我真的有在变好·2023-11-20 03:18

net.alchim31.maven:scala-maven-plugin：maven依赖无法下载或无法编译

背景：测试spark代码时，部分类无法正常导入，具体原因是部分maven依赖没有下载下来，导致类无法正常导入；原因：package默认只处理java源代码的编译、打包，而不管scala；解决方法：mvncleanscala

东耳飘雪·2023-11-20 03:45

【图数据库实战】HugeGraph架构

OLAP计算是基于SparkGraphX实现。二、组件HugeGraph的主要功能分为HugeC

码农丁丁·2023-11-20 02:15

大数据流式处理框架Flink介绍

1、Flink的介绍随着数据的飞速发展，出现了很多热门的开源社区，比如：hadoop、spark、storm社区，他们都有各自专注的适用场景，比如hadoop主要是做数据的存储及批处理计算，spark既可以做批处理也可以做准实时计算

大数据动物园·2023-11-20 01:57

大数据常见面试题及答案

大特性：2、Hive分桶和分区的区别：3、Hive表动态分区和静态分区4、一个Hive表，数据量很大，分布在集群的100个节点，现在需要定期取top100，如何设计/实现：5、窗口函数6、hivesql和sparksql

遐想者csdn·2023-11-20 01:18

hive lateral view explode列拆分与行转列用法

先创建一张临时表供测试，sql如下：--执行引擎：spark引擎--1.创建表createtabletmp.tmp1(book_namestri

平凡的大数据之路·2023-11-20 00:03

大数据组件spark hadoop hive简单介绍

spark单机启动spark-shell集群启动/usr/local/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh提交任务1.打包python环境:whereispython

转身之后才不会·2023-11-19 23:29

AIGC创作系统ChatGPT源码，AI绘画源码，支持最新GPT-4-Turbo模型，支持DALL-E3文生图

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-11-19 22:09

2011-2022年高职大数据竞赛-赛题内容

-离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化第一部分竞赛内容赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Spark

xlw2003·2023-11-19 21:54

2011-2022年高职大数据竞赛-赛题任务剖析

离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求，需要完成Hadoop完全分布式、Spark

xlw2003·2023-11-19 21:54

电商大数据分析案例(Hadoop+Hive+Spark+Azkaban+Spring MVC+ECharts)

项目描述某著名电商平台双十一美妆销售数据分析。由于是真实的商业数据，所以做了脱敏处理，数据集中对店名的引用被处理为产品的品牌名以保护店家隐私。。通过对该平台双十一美妆销售数据的品牌、销量、热度等特征的分析(平台视角和用户视角)，尝试探索以下问题：双十一期间，最受消费者青睐的产品或品牌是哪些？双十一期间，美妆行业各品类的销售情况？双十一期间，消费高峰何时出现?双十一期间，客户的评论数对销量的影响?.

xlw2003·2023-11-19 21:53

Doris Routine Load接入Kafka0.8.0实战

DorisRoutineLoad接入Kafka0.8.0实战想要更全面了解Spark内核和应用实战，可以购买我的新书。

wangleigiser·2023-11-19 21:48

【Spark 深入学习 02】- 我是一个凶残的spark

学一门新鲜的技术，其实过程都是相似的，先学基本的原理和概念，再学怎么使用，最后深究这技术是怎么实现的，所以本章节就带你认识认识spark长什么样的，帅不帅，时髦不时髦（这货的基本概念和原理），接着了解spark

weixin_34055910·2023-11-19 21:47

flink原理实战与性能优化 pdf_三万字长文 | Spark性能优化实战手册

本文分为四个部分，基本涵盖了所有Spark优化的点，面试和实际工作中必备。

weixin_39685697·2023-11-19 18:07

spark性能调优之合理的并行度设置

Spark性能调优之合理设置并行度1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！

浪子城·2023-11-19 18:07

Spark性能调优之合理设置并行度

1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！

跳跃的list·2023-11-19 18:06

【Spark】|【Spark性能调优】|【设置并行度】|【Spark多配置优先级】|【总结】

一、【关于Spark并行度】1.什么是Spark的并行度？

Haven.Liu·2023-11-19 18:35

spark性能调优 | 默认并行度

SparkSql默认并行度看官网，默认并行度200https://spark.apache.org/docs/2.4.5/sql-performance-tuning.html#other-configuration-options

Knight_AL·2023-11-19 18:04

Spark 性能调优之并行度设置

Spark性能调优之并行度设置Spark作业中的并行度什么是并行度Spark在每一个stage中task数量，就称为这个stage上的并行度；为什么要设置并行度如果你按照集群能给的最大资源给当前Spark

fffalconer·2023-11-19 18:04

大数据之Spark:Spark 数据倾斜

目录1.预聚合原始数据1.避免shuffle过程2.增大key粒度（减小数据倾斜可能性，增大每个task的数据量）2.预处理导致倾斜的key1.过滤2.使用随机key3.sample采样对倾斜key单独进行join3.提高reduce并行度1.reduce端并行度的设置2.reduce端并行度设置存在的缺陷4.使用mapjoin1.核心思路：2.不适用场景分析：数据倾斜：就是数据分到各个区的数量不

浊酒南街·2023-11-19 17:23

Spark数据倾斜解决

Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。

浪尖聊大数据-浪尖·2023-11-19 17:20

spark数据倾斜

原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈，是我们写的业务代码造成的。这种情况比较少见。数据倾斜发生的原理数据倾斜的原理很简单：在进行shuffle的时候，必须

什么都要取名累不累·2023-11-19 17:49

spark 数据倾斜优化

目录spark数据倾斜优化数据倾斜产生的原因数据倾斜七种解决方案使用HiveETL预处理数据过滤少数导致倾斜的key提高shuffle操作的并行度双重聚合将reducejoin转为mapjoin采样倾斜

赤兔胭脂小吕布·2023-11-19 17:15

Spark数据倾斜解决方案

倾斜场景1.2解决方案2.大表Join小表倾斜2.1倾斜场景2.2解决方案3.大表Join大表倾斜3.1倾斜场景3.2解决方案4.两表Join时空值过多倾斜4.1倾斜场景4.2解决方案今天我们来详细介绍下Spark

伯利恒教堂·2023-11-19 17:14

Spark数据倾斜解决思路

1.避免数据源倾斜-HDFSSpark通过textFile(path,minPartitions)方法读取文件时，使用TextInputFormat。

小小大数据·2023-11-19 17:13

推荐频道

——Spark