大数据平台任务调度

微服务面试题

如何解决5.微服务是怎么监控的6.限流7.解释CAP和BASE8.分布式事务解决方案9.分布式服务接口幂等性10.分布式任务调度1.Springcloud五大组件2.服务注册和发现是什么意思?
黑暗对我避而远之·2024-01-21 07:57

客户案例｜知名证券机构核心大数据平台升级之路

1项目背景在金融领域中，数据处理一直是IT系统中非常重要的一部分，证券发行、登记、托管、交易、结算的各个环节都有大量的数据产生。Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。某综合类证券机构，早年以Hadoop平台为基础，结合多种大数据处理技术，构建了大数据专用存储与处理系统。但随着实际
云掣YUNCHE·2024-01-21 01:17

Spring Task

介绍SpringTask是Spring框架提供的任务调度工具，可以按照约定的时间自动执行某个代码逻辑。
Alonzo de blog·2024-01-20 22:38

华为系统底层是用Java写的吗？和安卓的区别？

通过分布式数据管理、分布式任务调度和分
jiang_changsheng·2024-01-20 15:12

阿里云 E-MapReduce 全面开启 Serverless 时代

EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。
Apache Spark中国社区·2024-01-20 12:22

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里
Apache Spark中国社区·2024-01-20 12:51

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
坐在风口上de猪·2024-01-20 10:10

Python自动化测试中APScheduler Flask的应用示例

APScheduler是基于Quartz(一个功能丰富的开源任务调度系统)的一个Python定时任务框架，使用起来简单且方便，提供了基于日期、固定时间间隔
测试界的路飞·2024-01-20 07:27

Linux的crond任务调度

crond任务调度crond时间规则第五个是4点10分，4点20,4点30，4点40,4点50at定时任务at任务调度实例
WZJ499710·2024-01-19 21:43

XXL_JOB轻量级分布式任务调度平台

概述XXL-JOB是一个轻量级分布式任务调度框架，开箱即用。特性简单：通过Web页面操作简单易用。任务实时监控，可查看任务执行日志。动态：可以动态修改任务状态，暂停或恢复任务，也可以终止进行中的任务。
tim24518·2024-01-19 12:46

Linux定时任务调度 - crond

1.任务调度：是指系统在某个时间执行的特定的命令或程序2.任务调度分类：1.系统工作：有些重要的工作必须周而复始的执行，比如病毒扫描2.个别用户工作：个别用户可能希望执行某些程序，比如对mysql数据库的备份
yangh_·2024-01-19 12:04

数据中台到底是什么？

跟大数据平台是什么关系？在架构层面是怎么体现的？数据中台跟产品又有什么关系？
治理之路·2024-01-19 11:23

【Golang】实现简单队列(Queue)数据结构

这种特性使得队列在许多算法和数据结构中都有广泛的应用，例如操作系统中的任务调度、网络通信中的数据包排队等。 在Go语言中，我们可以使用切片（slice）来实现一个简单的队列。
Amctwd·2024-01-19 09:27

智算让大模型触手可及

本文整理自2023年12月20日举办的「2023百度云智大会·智算大会」主论坛，百度智能云AI与大数据平台总经理忻舟的主题演讲《智算让大模型触手可及》。
百度Geek说·2024-01-19 07:27

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。
OkGogooXSailboat·2024-01-19 06:26

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

1.背景最近笔者在开发大数据平台XSailboat的数据资产目录模块。它的其中一个功能是能定义并查看资产数据。我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

Linux使用crontab创建定时任务

当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分钟会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。
Puddy_Q·2024-01-19 01:12

Java协程开源库---kilim

SchedulerScheduler是Kilim框架中核心的任务调度器，负责管理任务的工作者线程WorkerThread，以及一个基本的FIFO队列，维护着Task任务列表，Scheduler负责分派Task
moernagedian·2024-01-19 01:05

Linux中的定时任务（案例：定时备份和清空）

前言Linux中的定时任务（案例：定时备份和清空）crontab命令Linuxcrontab是用来定期执行程序的命令,当安装完成操作系统之后，默认便会启动此任务调度命令。
程序猿0-1·2024-01-18 21:56

大数据之Spark 知识体系完整解读

Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。
金乐笑·2024-01-18 20:15

XXL-Job的搭建&接入Springboot项目（详细）

一、XXL-Job介绍XXL-Job是一款开源的分布式任务调度平台，由Xuxueli（徐雪里）开发。它基于Java技术栈，提供了一套简单易用、高可靠性的任务调度解决方案。
荒Huang·2024-01-18 17:12

Airflow大揭秘：如何让大数据任务调度变得简单高效？

介绍：Airflow是一个开源的、用于创建、调度和监控数据管道的工作流平台。这个平台使用Python编写，并通过有向无环图（DirectedAcyclicGraph,DAG）来管理任务流程，使得用户不需要知道业务数据的具体内容，只需设置任务之间的依赖关系，即可实现任务的自动调度。在具体应用中，例如"吃包子流"，从购买原材料到制作、蒸煮、上盘乃至食用，这一系列的过程就构成了一个“吃包子流”，也就是一
知识分享小能手·2024-01-18 17:59

调度队列的优先堆实现

应用场景模拟考虑优先堆的一种应用场景——按优先级的任务调度队列：每个任务有一个优先级和唯一标号，该调度队列需要具有以下功能：添加任务：将任务添加进调度队列并按优先级置于对应的位置执行任务：将优先堆中优先级最高的任务取出
月见樽·2024-01-18 16:00

构建高效数据生态：数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技

本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值，帮助您构建一个符合自身业务需求的高效数据生态系统。
光点数据治理·2024-01-18 12:24

情报研判分析系统开发，可视化大数据研判平台建设

情报研判分析系统功能：1、大数据多维度预测分析：通过大数据平台和算法对历史数据
d13823153201·2024-01-18 12:08

公安情报大数据分析研判平台建设解决方案，情报信息平台建设

公安情报大数据分析研判平台建设解决方案，情报信息平台建设公安情报大数据分析研判平台建设解决方案，通过构建汇聚公安内部各警种部门和公安外部单位各类社会数据的大数据平台，以公安数据业务为基础、情报需求为主导
d13823153201·2024-01-18 12:37

线程和进程的区别（从JVM角度出发）

根本区别：进程是操作系统资源分配的基本单位，而线程是处理器任务调度和执行的基本单位资源开销：每个进程都有独立的代
还能救一下嘻嘻·2024-01-18 08:29

hadoop YARN详解

YARN概念YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。
武昌库里写JAVA·2024-01-18 06:25

dolphinscheduler分布式集群部署指南(小白版)

dolphinscheduler.apache.org/zh-cn/docs/3.1.91.1.DolphinScheduler简介摘自官网：ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统
嫣夜来·2024-01-18 04:17

【SpringBoot框架篇】31.基于分布式锁或xxx-job实现分布式任务调度

文章目录1.简介2.分布式锁实现2.1.引用依赖2.2.定义分布式锁注解2.3.配置切入点和获取锁释放锁逻辑2.4.测试任务3.使用分布式任务调度平台xxx-job3.1.下载源码并运行项目3.2.springBoot
皓亮君·2024-01-18 03:41

设计一个简易版本的分布式任务调度系统

分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023计划中：源码溯源，一探究竟联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬文章目录简易版分布式任务调度实现需求分析设计思路实现原理自定义注
爱吃芝士的土豆倪·2024-01-17 19:22

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

python使用贪心算法解决作业调度问题

对于作业调度问题，其实至今都还不能找到一个最优的解决方案，对与如何将任务和机器进行一个合理安排和分配，让其能够在最短时间内将所有任务全部完成，和计算机操作系统的任务调度过程相类似。
X Y sawyer·2024-01-17 17:56

STC8H8K蓝牙智能巡线小车——2. 点亮左右转弯灯与危险报警灯

任务调用示例RTX51TNY可做多任务调度，API较为简单。
Sophia&Anna·2024-01-17 16:00

Python 与批处理：数据处理、系统管理和任务调度

批处理学习大数据篇｜大数据实操三剑客之一的批处理目录批处理的概念使用场景框架选择选型如何选docker安装hivePython操作hivedocker安装sparkpyspark操作dataframe如果使用JAVA原生的，而不用spark会有什么区别批处理的概念批处理是一种计算机处理任务的方式，通常涉及一系列的命令和任务，这些任务会按照预定的顺序和规则自动执行。以下是批处理的基本特征：自动化执行
Wade_Crab·2024-01-17 15:23

Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏！

概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
DolphinScheduler社区·2024-01-17 14:58

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

智慧校园大数据平台业务系统介绍

常见业务系统以下是智慧校园常见的业务系统。这是某个智慧校园业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设智慧校园大数据时需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转换，转换成我们所需的数据格式，这些都带来大量的工作量。学校业务系统的数据类型和属性很多，有数百种。我们进行数据的归
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台功能模块

学校概况模块智慧校园大数据平台的“学校概况”模块，主要给学校和院系领导使用，能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况，可以预测学校的发展趋势并且给出决策建议。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台概述

背景2015年是中国的智慧校园大数据元年，政府、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据，相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。然而，我国的智慧校园大数据研究与实践领域整体还处于起步探索阶段，是在“摸着石头过河”，涉及一系列关键问题亟待解决（如教育数据的自然采集、教育数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、教育数据的深度挖掘以及学习分
shawn_song1212·2024-01-17 11:01

智慧校园大数据平台架构

数据计算与分析挖掘大数据平台涵盖了
shawn_song1212·2024-01-17 11:56

优先队列（Java）

优先队列里面的结构是堆—一个自组织的二叉树，其添加(add)和删除(remove)操作可以让最小元素移动到跟，而不必花时间对元素进行排序应用场景任务调度；每一个任务都有一个优先级，任务以随机顺序添加到队列中
城堡修炼者·2024-01-17 09:07

Elastic-Job分布式调度学习

概述1.1什么是任务调度?为了自动完成特定任务,在约定的特定时刻去执行任务例如:每天晚上8点发放优惠券,每天凌晨需要统一数据1.2为什么需要分布式调度?
南瓜战士·2024-01-17 08:24
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他