spark调度

Hive重点面试题

数据倾斜原因与解决方法6.HiveMapReduce的底层实现与优化方式7.Hive窗口函数的使用场景8.Hive分区与分桶的区别9.Hive的存储格式10.Hive计算引擎（MapReduce,Tez,Spark
Major Tom _·2025-02-03 20:43

公司的k8s集群架构

1.应用部署模式的演进虚拟化模式容器化模式相比虚拟机和容器容器更加轻量级，启动更快（秒级）容器可移植性更好2.管理大量的容器带来了新的挑战容器编排调度引擎——k8s的好处简化应用部署提高硬件资源利用率健康检查和自修复自动扩容缩容服务发现和负载均衡二
Dragon-wei·2025-02-03 17:50

k8s网络架构图_kubernetes搭建高可用集群架构图

MasterNode：主控节点，对集群进行调度管理。由APIServer、Sched
沈千越·2025-02-03 17:49

大模型低显存推理优化-Offload技术

[大模型推理优化技术-KVCache][大模型推理服务调度优化技术-Continuousbatching]大模型显存优化技术-PagedAttention大模型低显存推理优化-Offload技术大模型优化技术
AI大模型-大飞·2025-02-03 15:04

【车间调度】基于卷积神经网络的柔性作业车间调度问题的两阶段算法（Matlab代码实现）

本文目录如下：目录1概述两阶段算法概述第一阶段：特征提取与表示学习第二阶段：调度策略生成与优化研究挑战与前景2运行结果3参考文献4Matlab代码实现1概述该文提出一种基于卷积神经网络的有效两阶段算法，
宇哥预测优化代码学习·2025-02-03 12:08

TVM Compiler中文教程：TVM调度原语（Schedule Primitives）

文章目录TVM调度原语（SchedulePrimitives）分裂split平铺tile融合fuse重排序reorder绑定bind从哪里开始计算compute_at计算内联compute_inlinecompute_root
Mars_WH·2025-02-03 11:06

【车间调度】基于卷积神经网络的柔性作业车间调度问题的两阶段算法（Matlab代码实现）

本文目录如下：目录1概述两阶段算法概述第一阶段：特征提取与表示学习第二阶段：调度策略生成与优化研究挑战与前景2运行结果3参考文献4Matlab代码实现1概述该文提出一种基于卷积神经网络的有效两阶段算法，
Ps.729·2025-02-03 11:31

基于粒子群优化算法的微电网调度(光伏、储能、电动车、电网交互)（Matlab代码实现）

欢迎来到本博客❤️❤️❤️本文目录如下：⛳️⛳️⛳️目录1概述1.微电网概述2.粒子群优化算法（PSO）3.应用于微电网调度的优势4.研究内容光伏发电调度储能系统调度电动车充电调度与主电网交互5.实现挑战结论
宇哥预测优化代码学习·2025-02-03 10:21

简述Apache Airflow：分布式工作流调度与管理利器

核心概念与架构DAGOperatorsTasksExecutorsAirflow的安装与配置环境要求安装步骤Airflow示例项目简单任务调度使用PythonOperator实现数据处理任务集成外部工具
心上之秋·2025-02-03 09:10

Airflow：选择合适执行器扩展任务执行

ApacheAirflow是面向开发人员使用的，以编程方式编写、调度和监控的数据流程平台。可伸缩性是其关键特性之一，Airflow支持使用不同的执行器来执行任务。
梦想画家·2025-02-03 08:39

STM32面向对象编程架构示例

对于许多初学STM32编程的同学来说，常常会遇到多任务调度、全局变量处理、编程规范等方面的问题，导致代码混乱且难以维护。
杭劲钰Majestic·2025-02-03 08:36

linux的apache安装,Apache Kylin | 安装指南

软件要求Hadoop:2.7+,3.1+(sincev2.5)Hive:0.13-1.2.1+HBase:1.1+,2.0(sincev2.5)Spark(可选)2.3.0+Kafka(可选)1.0.0
姜白的树洞·2025-02-03 07:26

kylin linux 安装教程,Apache Kylin | 安装指南

软件要求Hadoop:2.7+Hive:0.13-1.2.1+HBase:1.1+Spark2.1.1+JDK:1.7+OS:Linuxonly,CentOS6.5+orUbuntu16.0.4+用HortonworksHDP2.2
社本·2025-02-03 07:26

linux进程调度HMP,HMP调度器和EAS调度器

HMP调度器为了降低功耗，ARM开发了大小核架构处理器。
熙公主的爪牙·2025-02-03 04:07

【TiDB系列文章】PD（Placement Driver）

作为TiDB的核心组件之一，PD负责数据的放置和调度，确保数据的高可用性和负载均衡。本文将详细介绍PD的功能、架构以及它在TiDB中的作用。
学弟Craze·2025-02-03 03:27

一张图看懂AI技术架构！开发、训练、部署全链路深度解析！

从数据管理、模型训练到应用落地，再到算力调度和智能运维，一个完整的AI架构需要涵盖多个层面，确保AI技术能够高效、稳定地运行。
和老莫一起学AI·2025-02-02 19:58

React中useState()钩子和函数式组件底层渲染流程详解

可能涉及到React的调度器、Fiber架构以及闭包等概念。首先，React使用Fiber架构来管理组件的渲染过程。每个组件对应一个Fiber节点，Fiber节点保存了组件的状态、副作用等信息。
GISer_Jinger·2025-02-02 19:24

python多进程和多线程

前言进程是资源分配的最小单位，线程是CPU调度的最小单位进程：操作系统的每个一个程序都是一个进程线程：进程包括了线程，一个进程下可以有多个线程同时进行一、多进程代码如下（示例）：#-*-coding:utf
晚风吹儿·2025-02-02 18:18

Java 大视界 -- Java 与 Spark SQL：结构化数据处理与查询优化（五）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-02-02 05:39

GPU架构（1.2）--GPU SoC 中的 CPU 架构

目录详细介绍GPUSoC中的CPU架构1.CPU核心概述ARMCortex-A72ARMCortex-A762.多线程处理多核架构多线程支持3.任务调度任务调度器动态调度4.内存管理内存层次结构内存管理技术
小蘑菇二号·2025-02-02 02:58

Hive 整合 Spark 全教程 （Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00:9870dfs.namenode.secondary.http-addressBigdata00:9868dfs.replication13）YARN配
字节全栈_rJF·2025-02-02 02:56

如何使用Spark Streaming

一、什么叫SparkStreaming基于SparkCore，大规模、高吞吐量、容错的实时数据流的处理二、SparkStreaming依赖org.apache.sparkspark-streaming_
会探索的小学生·2025-02-02 00:46

Spark 任务与 Spark Streaming 任务的差异详解

Spark任务与SparkStreaming任务的主要差异源自于两者的应用场景不同：Spark主要处理静态的大数据集，而SparkStreaming处理的是实时流数据。
goTsHgo·2025-02-02 00:14

XXL-JOB v2.4.2 发布 | 分布式任务调度平台

ReleaseNotes1、【优化】调度中心任务Next计算逻辑调整，避免Cron解析失败导致重复执行问题。
·2025-02-02 00:26

4 Spark Streaming

4SparkStreaming一级目录1.整体流程2.数据抽象3.DStream相关操作4.SparkStreaming完成实时需求1)WordCount2)updateStateByKey3)reduceByKeyAndWindow
TTXS123456789ABC·2025-02-01 23:43

spark和python的区别_Spark入门(Python)

Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。
weixin_39934257·2025-02-01 23:42

spark python入门_python pyspark入门篇

一.环境介绍：1.安装jdk7以上2.python2.7.113.IDEpycharm4.package:spark-1.6.0-bin-hadoop2.6.tar.gz二.Setup1.解压spark
weixin_39686634·2025-02-01 23:12

spark streaming python_Spark入门：Spark Streaming简介(Python版)

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
weixin_39531582·2025-02-01 23:12

Spark 学习-1 (python)

Spark官方文档快速入门指南Spark架构-Spark教程1.基本概念RDD（resilientdistributeddataset）弹性分布式数据集，对分布式数据和计算的基本抽象。
一二三四0123·2025-02-01 23:40

Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

算子：rdd的api的操作，就是算子，flatMap扁平化算子，map转换算子Transformation算子Action算子步骤：1-首先创建SparkContext上下文环境2-从外部文件数据源读取数据
2401_84181704·2025-02-01 23:09

Spark入门（Python）

目录一、安装Spark二、Spark基本操作一、安装Sparkpip3installpyspark二、Spark基本操作#导入spark的SparkContext,SparkConf模块frompysparkimportSparkContext
nfenghklibra·2025-02-01 23:39

lxc与docker的区别

“lxc”是指linux内核（尤指命名空间以及Cgroup）的一个特性，它允许其他一些沙盒进程运行在一块相对独立的空间，并且能够方便的控制他们的资源调度。
xihuaodc·2025-02-01 19:04

探讨实时操作系统（RTOS）在嵌入式设备中的调度机制与效能优化

博客主页：借口的CSDN主页⏩文章专栏：《热点资讯》探讨实时操作系统（RTOS）在嵌入式设备中的调度机制与效能优化探讨实时操作系统（RTOS）在嵌入式设备中的调度机制与效能优化探讨实时操作系统（RTOS
借口·2025-02-01 17:24

PostgreSql扩展定时任务插件（pg_cron）

定时任务（pg_cron）pg_cron是基于cron的作业调度插件，语法与常规cron相同，但它可以直接从数据库执行PostgreSQL命令。
为什么不问问神奇的海螺呢丶·2025-02-01 14:50

高性能定时器实现方式

简单升序链表的方式3.2时间轮方式3.3时间堆方式4.总结0.简介在实际开发中，经常会有定时去执行一个任务或者到某一时间去执行某一特定任务的需求（如心跳检测，状态检查等），此时就需要定时器去进行唤醒和调度
程序员学习随笔·2025-02-01 13:17

FreeRTOS深入教程（任务创建的深入和任务调度机制分析）

文章目录前言一、深入理解任务的创建二、任务的调度机制1.FreeRTOS中任务调度的策略2.FreeRTOS任务调度策略实现的核心3.FreeRTOS内部链表源码解析4.如何通过就绪链表管理任务的执行顺序三
花落已飘·2025-02-01 08:38

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个
weixin_39710660·2025-02-01 04:00

PyDeequ库在AWS EMR启动集群中数据质量检查功能的配置方法和实现代码

PyDeequ是一个基于ApacheSpark的PythonAPI，专门用于定义和执行“数据单元测试”，从而在大规模数据集中测量数据质量。
weixin_30777913·2025-02-01 04:59

Go语⾔“调度器”的由来

早期的单进程操作系统，⾯临两个问题。(1)单⼀的执⾏流程。计算机只能⼀个任务⼀个任务处理，所有的程序⼏乎是阻塞的，更不⽤说具备图形化界⾯或者⿏标这种异步交互的处理能⼒。(2)进程阻塞所带来的CPU时间浪费。在⼀个进程完整的⽣命周期中，所要访问的物理部分包括CPU、Cache、主内存、磁盘、⽹络等，不同的硬件媒介处理计算的能⼒相差甚⼤。如果将这些处理速度不同的处理媒介通过⼀个进程串在⼀起，则会出现⾼
HeyGopher·2025-01-31 22:48

Go语言协程

目录前言一、进程、线程、协程1.进程2.线程3.协程4.协程的优势5.进程、线程、协程的对比二、协程1.协程数据结构2.协程执行过程3.GMP调度模型4.调度策略1.队列轮转2.系统调用3.工作量窃取4
kawhi794·2025-01-31 21:06

spark 算子例子_Spark性能调优方法

公众号后台回复关键词：pyspark，获取本项目github地址。Spark程序可以快如闪电⚡️，也可以慢如蜗牛?。它的性能取决于用户使用它的方式。
不让爱你的人失望·2025-01-31 16:28

Spark性能调优

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
大数据侠客·2025-01-31 16:58

在AWS上使用KMS客户端密钥加密S3文件，同时支持PySpark读写和Snowflake导入

现有AWSEMR集群上运行PySpark代码，可以读写S3上的数据文件，Snowflake数据仓库也需要导入S3上的文件到表。
weixin_30777913·2025-01-31 16:27

11 Spark面试真题

11Spark大厂面试真题1.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2.hadoop和spark使用场景？
TTXS123456789ABC·2025-01-31 16:26

揭秘MySQL中基于负载的自适应缓存资源调度策略——让数据库响应更敏捷

今天，我们将深入探讨一种创新的方法——基于负载的自适应缓存资源调度策略，并展示其具体实现过程。为什么选择自适应缓存？‍传统的缓存管理方式通
墨夶·2025-01-31 11:40

「架构师」001计算机组成与体系结构

计算机组成结构1.2CPU组成1.3冯诺依曼结构与哈佛结构二、存储结构2.1层次化存储结构2.2Cache2.3主存编址计算（计算）2.4磁盘基本结构与存取过程（计算）2.5磁盘优化分布存储（计算）2.6磁盘移臂调度算法
吴维炜·2025-01-31 10:03

OLAP引擎比较

一，sparksql与dorisspark虽然是一个计算引擎，但sparksql也支持符合通用语法的sql查询，延迟为分钟级。doris是一个OLAP数据库，支持对大数据的复杂查询，延迟为秒级。
小手追梦·2025-01-31 10:30

Java多线程中的等待与通知机制

然而，由于线程调度的不可预测性，我们无法直接控制线程的执行顺序。因此，我们需要一种机制来协调线程之间的行为。
t0_54manong·2025-01-31 06:57

大数据毕业设计hadoop+spark+hive豆瓣图书数据分析可视化大屏 豆瓣图书爬虫 图书推荐系统

系统总体目标基于Spark的个性化书籍推荐系统是一种基于大数据技术的智能推荐系统，它可以根据用户的历史行为和偏好，为用户提供个性化的书籍推荐。
qq_79856539·2025-01-30 20:03

Apache Airflow 全面解析

1.Airflow的定义与核心定位ApacheAirflow是一个开源的工作流自动化与调度平台，由Airbnb于2014年创建，2016年进入Apache孵化器，2019年成为顶级项目。
由数入道·2025-01-30 18:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他