Spark官方文档

Spark作业执行原理

Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头·2024-01-28 23:12

Spark工作原理

1）Spark工作原理：首先看中间是一个Spark集群，可以理解为是Spark的standalone集群，集群中有6个节点左边是Spark的客户端节点，这个节点主要负责向Spark集群提交任务，假设在这里我们向
小崔的技术博客·2024-01-28 23:12

Spark详解（五）：Spark作业执行原理

Spark的作业和任务调度系统是其核心，它能够有效地进行调度的根本原因是对任务的划分DGG和容错。
MasterT-J·2024-01-28 23:42

Spark运行原理

Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。
hellozhxy·2024-01-28 23:41

Spark | 记录下Spark作业执行时常见的参数属性配置

理解作业基本原理，是进行Spark作业资源参数调优的基本前提。
点滴笔记·2024-01-28 23:11

【Spark系列1】Spark作业执行原理

本文字数在7800字左右，预计时间在15分钟一、整体流程每个Aciton操作会创建一个JOB，JOB会提交给DAGScheduler，DAGScheduler根据RDD依赖的关系划分为多个Stage，每个Stage又会创建多个TaskSet，每个TaskSet包含多个Task，这个Task就是每个分区的并行计算的任务。DAGScheduler将TaskSet按照顺序提交给TaskScheduler
周润发的弟弟·2024-01-28 23:40

数仓治理-小文件治理

:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark
爱吃辣条byte·2024-01-28 23:40

Echarts 配置渐变

官方文档：https://echarts.apache.org/zh/option.html#color实现方式：两种不同的写法本质都一样，`echarts.graphic.LinearGradient
您的小透明·2024-01-28 22:41

Kong API 网关学习

官方文档1下载安装启动1.1查看本地版本$lsb_release-a本地测试机器未Ubuntu16.04NoLSBmodulesareavailable.DistributorID:UbuntuDescription
linyk3·2024-01-28 20:29

Cesium.js实现显示点位对应的自定义信息弹窗（数据面板）

的常见需求整理之点位和弹窗（点位弹窗）博客：cesium添加点、线、面、文字、图标、模型等标绘零、相关技术选型：Vue2Vuecli5Cesium.js天地图一、需求说明在使用2D地图（天地图、高德地图等）基于官方文档可以实现下面需求
@MADLING·2024-01-28 19:15

spark 内核源码剖析七：Work工作原理

driverDesc)=>{logInfo(s"Askedtolaunchdriver$driverId")valdriver=newDriverRunner(conf,driverId,workDir,sparkHome
雪飘千里·2024-01-28 18:08

极简pyspark

PySpark简要介绍PySpark是一个基于Spark的Python接口，它允许你在Python中使用Spark的强大功能，如大数据处理、实时数据处理等。
吉小雨·2024-01-28 18:13

4.Doris数据导入导出

导入Doris支持多种数据源导入如S3HDFSKafka本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业，不论是使用BrokerLoad进行批量导入，还是使用INSERT语句进行单条导入
夹毛局的程序员·2024-01-28 16:27

autojs实例02-为朋友圈指定好友点赞

官方文档：https://pro.autojs.org/docs/zh/v8/学习要点：熟悉对各种控件操作和布局分析二、实例代码分析通过autojs自带的布局分析可以查看控件信息，完成以下实例：打开微信
产品经理不是经理啊·2024-01-28 16:50

Swiper轮播插件的使用与二次封装

1、Swiper官方文档链接：Swiper中文网-轮播图幻灯片js插件,H5页面前端开发Swiper是一个非常强大的轮播插件，Swiper是纯javascript打造的滑动特效插件，面向手机、平板电脑等移动终端
听书先生·2024-01-28 15:51

pyspark在windows下java.net.SocketException: Connection reset by peer 错误

pyspark在windows加载数据集训练模型出现以下错误java.net.SocketException:Connectionresetbypeer:socketwriteerroratjava.net.SocketOutputStream.socketWrite0
walk walk·2024-01-28 15:49

quill 富文本编辑器常见问题汇总

官方github地址:https://github.com/quilljs/quill官方文档:https://quilljs.com/docs/quickstart/关于插入表格如果你需要拥有插入表格的功能
八百万·2024-01-28 14:43

Vue3在css中使用v-bind绑定js/ts变量，也可以在scss和less中使用方式

主要介绍Vue3中的新增的v-bind()的常用使用方式，主要包括在css,less,scss中的使用，可以参考官方文档查看：Vue3官方文档特别提醒如果你想在scss中或者less中使用，可能会报各种乱七八糟的错误
1024小神·2024-01-28 14:56

spark-streaming与kafka的整合

1.概述在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-basedApproach，
王大为学习笔记·2024-01-28 14:47

[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境spark-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame，为字段添加列信息参数nullable说明：Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森·2024-01-28 13:51

【Docker】在 IDE 中使用 Docker & VS Code & podman - 下一代 Linux 容器工具

二、VSCode中使用Docker将Docker容器作为远程开发环境无需本地安装开发工具，直接将Docker容器作为开发环境，具体参考官方文档。三、p
.正函数.·2024-01-28 12:05

[AIGC大数据基础] Spark 入门

其中，Spark作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。
程序员三木·2024-01-28 12:32

Impala-shell卡顿分析——记一次曲折的Debug经历

Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持，以修正跟Hive、Spark等基于Java的系统在UTF-8字符串上的不兼容表现（如
stiga-huang·2024-01-28 12:06

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Spark:Task Locality参考

DatalocalitycanhaveamajorimpactontheperformanceofSparkjobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32·2024-01-28 12:38

PyInstaller 将 Python 程序生成可直接运行的程序

图标转换地址：https://convert.app/#google_vignette官方文档：https://readthedocs.org/projects/pyinstaller/downloads
程序无涯海·2024-01-28 12:24

netty性能调优

转载自STEPHEN的博客调优思路关于netty的学习和介绍，可以去github看官方文档，这里良心推荐《netty实战》和《netty权威指南》两本书，前者对于新手更友好，原理和应用都有讲到，多读读会发现很多高性能的优化点
tinysakurac·2024-01-28 11:54

requests库的使用

Requests官方文档：https://2.python-requests.org/en/master/Requests提供了几乎所有
老孟说禅·2024-01-28 11:47

关于Gitlab用户登录提示无限重定向循环ERR_TOO_MANY_REDIRECTS

配置环境：1.centos8.3.2011的虚机，6G内存（4G内存后期运行会经常报500异常，查阅官方文档建议除了系统资源，给gitlab
claro·2024-01-28 09:45

python入门Flask框架学习（一）

python后端三个框架flask、Django、Tornadoflask轻量级后端框架优点：创建组建需要的库官方文档https://dormousehole.readthedocs.io/en/latest
Wei&·2024-01-28 09:20

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

GLog开源库使用

Glog地址：https://github.com/google/glog官方文档：http://google-glog.googlecode.com/svn/trunk/doc/glog.html1.
不朽の燃梦·2024-01-28 07:36

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

log4cplus开源库使用

：https://github.com/log4cplus/log4cplus下载链接：log4cplus-Browse/log4cplus-stable/2.0.7atSourceForge.net官方文档
不朽の燃梦·2024-01-28 07:00

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

iText操作pdf

最近有个任务是动态的创建pdf根据获取到的内容，百度到的知识点都比较零散，官方文档想必大家也不容易看懂。
好美啊啊啊啊！·2024-01-28 07:58

linux 基于科大讯飞的文字转语音使用

官方文档地址：离线语音合成LinuxSDK文档|讯飞开放平台文档中心一、SDK下载1、点击上面官方文档地址的链接，可以跳转到以下界面。2、点击“普通版”，跳转到以下界面。
码农客栈·2024-01-28 07:55

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

Vue如何按需引入element-plus

（我们项目是通过vue-cli方式创建的）1.安装插件首先你需要安装unplugin-vue-components和unplugin-auto-import这两款插件官方文档npminstall-Dunplugin-vue-componentsunplugin-auto-import
Wmenghu·2024-01-28 05:01

调用GPT3接口的一些参数

GPT3接口官方文档APIReference调用temperature通过设置合适的temperature值和观察每个token的概率，判断输出的确定性和可靠性，避免与直觉不符的结果。
weixin_44040169·2024-01-28 04:54
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他