【Azkaban】

大数据技术之Azkaban的部署与使用

文章目录大数据技术之Azkaban的部署与使用1.0Azkaban概论1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3Azkaban与Oozie对比2.0Azkaban入门2.1集群模式安装
Fang GL·2022-12-13 14:15

大数据之Azkaban部署

目录一、Azkaban概论1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3Azkaban与Oozie对比二、Azkaban集群安装2.1集群模式安装2.1.1安装包准备2.1.2配置MySQL2.1.3
FunnyPrince_·2022-12-13 14:08

工作中遇到问题以及解决方法

Azkaban的执行缺陷由于Azkaban中的每个job都是一个进程，在Azkaban中判断job成功与否是根据这个进程是否成功执行完成，但是在MR或者SparkJob执行的过程中，如果代
虎中申·2022-12-13 10:30

CDH大数据平台 23Cloudera Manager Console之azkaban与freeIPA、Kerberos等组合配置(markdown新版四)

CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主希望大佬们多多支持，携手共进如果文章对你有帮助的话，欢迎评论点赞收藏加关注⛔如需要支持请私信我，必支持文章目录一、创建相关目录1、创建azkaban-web-server
与自己作战·2022-11-29 14:15

Azkaban调度器

工作流1、工作流产生背景工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数据采集、数据预处理、数据分析、数据展示等。各个模块单元之
依旧ฅ=ฅ·2022-11-10 08:02

Azkaban使用

、shellcommand调度创建job描述文件vicommand.jobtype=commandcommand=echo'hello'将job资源文件打包成zip文件zipcommand.job通过azkaban
悠然予夏·2022-11-02 11:05

CDH大数据平台 22Cloudera Manager Console之azkaban与freeIPA、Kerberos等组合配置(markdown新版三)

CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主希望大佬们多多支持，携手共进如果文章对你有帮助的话，欢迎评论点赞收藏加关注⛔如需要支持请私信我，必支持文章目录一、Azkaban
与自己作战·2022-10-30 19:49

基于Hadoop搭建HA集群网盘系统

云盘项目总结0.项目介绍介绍视频：基于Hadoop搭建HA高可用网盘系统视频地址：B站搭建过程：我的搭建过程小组成员的搭建过程项目地址待完善后会发出来技术栈:HDFS、Sqoop、Flume、Ganglia、Azkaban
每天都要加油呀！·2022-10-13 16:09

大数据相关开源项目及组件汇总

调度与管理服务文件系统数据搜集消息系统内存技术数据处理查询引擎分析和报告工具机器学习开发平台目录图：类别开源项目调度与管理服务Azkaban、YARN、Mesos、Ambari、ZooKeeper、Thrift
奥卡姆的剃刀·2022-10-10 14:51

猿创征文｜大数据之离线数仓各工具常用命令

离线数仓各工具常用命令前言：近期学习大数据离线数仓，接触到了许多处理数据的应用及工具：Hadoop、hive、sqoop、azkaban、flume、datax、superset、zookeeper、Kafka
Chlin.Rei·2022-09-28 10:30

【Azkaban报错解决】FAILED: SemanticException Failed to get a spark session

问题描述：ods_to_dwd_log报以下错误ods_to_dim_db报一下错误可以看出都是相同报错，无法创建spark事务Logginginitializedusingconfigurationinjar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.propertiesAsync:true05-05-202214:
在学习的王哈哈·2022-09-07 20:14

【Azkaban报错解决】FAILED SemanticException Failed to get a spark session

问题描述：ods_to_dwd_log报以下错误ods_to_dim_db报一下错误可以看出都是相同报错，无法创建spark事务Logginginitializedusingconfigurationinjar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.propertiesAsync:true05-05-202214:
发呀发呀哈哈·2022-09-07 20:44

数仓4.0（数据仓库系统）--续集二

目录十：全流程调度10.1Azkaban部署10.2创建MySQL数据库和表10.3Sqoop导出脚本10.4全调度流程10.4.1数据准备10.4.2编写Azkaban工作流程配置文件10.4.3Azkaban
JiaXingNashishua·2022-08-13 18:09

Azkaban安装及配置

目录一：Azkaban概论1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3Azkaban与Oozie对比二：Azkaban入门2.1集群模式安装2.1.1上传tar包2.1.2配置MySQL2.1.3
JiaXingNashishua·2022-08-13 18:09

尚硅谷离线数仓4.0镜像以及项目执行流程（3个虚拟机）

所有密码设置为root其中IP是192.168.10.xxx，例如：192.168.10.102运行前一定要设置好网络由于时间有限，项目只做到可视化展示部分，运行前看一下文档里面有脚本的全流程为了方便，只写了Azkaban
程序员颜柒·2022-08-05 14:32

Apache DolphinScheduler新一代分布式工作流任务调度平台实战-上

全新一代分布式工作流任务调度平台ApacheDolphinScheduler，其为azkaban的完美替换品，本篇从实战目的出发先了解特性和组成部分，然后以二进制的方式部署2个Master3个Worker1
itxiaoshen·2022-07-30 00:00

数据系统架构-8.任务调度系统

当然也有一些开源比较好用的调度系统可以直接使用，比如：azkaban、xxl-j
·2022-07-29 11:45

数据系统架构-8.任务调度系统

当然也有一些开源比较好用的调度系统可以直接使用，比如：azkaban、xxl-j
·2022-07-29 11:44

Ganglia Sqoop DataX Azkaban

GangliaGanglia是UCBerkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。Sqoop何为Sqoop？Sqoop(SQL-t
HikZ.919·2022-07-04 12:55

Azkaban Flow 2.0的使用

一、Flow2.0简介1.1Flow2.0的产生Azkaban目前同时支持Flow1.0和Flow2.0，但是官方文档上更推荐使用Flow2.0，因为Flow1.0会在将来的版本被移除。
Cynicism_Kevin·2022-06-30 10:08

数据平台调度升级改造 | 从Azkaban 平滑过度到 Apache DolphinScheduler 的操作实践

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。
·2022-06-20 12:18

Go语言dolphinscheduler任务调度处理

目录简介自动化使用例子任务结果检查测试连接重跑任务小结简介dolphinscheduler是一个可视化DAG工作流任务调度平台，在大数据领域做任务调用非常流行提供了类似azkaban工作流调度，比azkaban
·2022-06-08 17:21

大数据项目学习（一）

采集：Flume/Kafka/Sqoop存储：Mysql/Hasoop/Hbase计算：Hive/Tez查询：Presto/Druid/Kylin可视化：Superset任务调度：Azkaban全流程调度集群监控
爱爱爱爱五月天·2022-05-28 02:50

手把手教你安装 azkaban 运行环境

背景简介资料下载MySQL安装Jdk安装azkabn-web安装azkaban-executor安装启动测试踩坑记录1.背景最近项目上需要搭建一个任务调用框架，在对比了市面上一些常用的调度框架比如Quartz
Java编程技术·2022-05-05 07:14

Azkaban快速入门

先说一些废话因为之前自己工作中有用过Azkaban作为自动化任务调度工具，所以想参考自己之前的使用经验，总结一下关于Azkaban的使用，方便大家使用Azkaban快速实现企业级自动化任务如何选择市面上的任务调度工具简单的任务
·2022-04-27 00:43

大数据项目实战数仓4——总纲

项目需求分析2.项目框架2.1技术选型2.2系统数据流程设计2.3框架发行版本选型2.4服务器选型2.5集群资源规划设计三、相关命令可视化报表Superset即席查询Kylin集群监控Zabbix全流程调度Azkaban
未来影子·2022-02-28 10:17

[调度]azkaban~hadoop工作流引擎

Hadoop-Azkaban作业调度-哥不是小萝莉-博客园http://www.cnblogs.com/smartloli/p/5191155.html在调度Hadoop的相关作业时，有以下几种方式：基于
葡萄喃喃呓语·2022-02-21 18:43

大数据生态圈技术整理

组件类型(本文还未写完)文件系统HDFS调度系统OozieAzkabanAirflow管理系统ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo
非常强壮的蚂蚁·2022-02-18 02:41

四种工作流的比较Cascading/Azkaban/Oozie/Hamake

四种工作流的比较-Athenaer的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/athenaer/article/details/7387695Paste_Image.png
葡萄喃喃呓语·2022-02-13 05:09

Azkaban资源下载及环境安装

azkaban工作流调度器Azkaban是由Linkedin公司推出的一个批量工作流任务轻量级调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程,可定时,Azkaban使用job配置文件建立任务之间的依赖关系
__元昊__·2022-02-11 19:20

Azkaban分布安装部署

获取编译好的文件获取编译好的安装文件上传并解压/root/hd/azkaban-3.50.0找到三个需要的配置文件azkaban-db/build/distributionsazkaban-web-server
一个人一匹马·2022-02-05 01:25

任务调度系统系列之Airflow

这是任务调度系统调研系列文章的开篇，后续会陆续调研Oozie，Azkaban，DolphinScheduler等系统。
·2022-01-22 00:11

Azkaban Connecting to SMTP server failed

1.启用azkaban的邮件配置在azkaban.properties中定义发送邮箱[email protected]=smtp.exmail.qq.commail.user=
mrknowledge·2022-01-21 17:32

Azkaban工作流调度

作者：あおざき来源：恒生LIGHT云社区1.Azkaban介绍Azkaban是由linkedin（领英）公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。
·2021-12-24 09:52

azkaban执行任务长时间无法结束

问题显示：由于一次执行较多的任务，导致azkaban的web程序崩溃，此时，关闭azkaban服务，重新启动azkaban但是由于azkaban的exec程序无法关闭，这里采用kill的方式关掉exec
Rookie_Z·2021-12-03 09:00

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

Azkaban搭建及使用

Azkaban搭建使用（很简单）1、上传解压unzipazkaban-solo-server.zip#没有unzip插件的执行下面命令安装yuminstallunzip2、修改配置文件#修改azkaban.properties
落幕7·2021-11-21 05:00

Hive中定义分割符会使用八进制的ASCII码

问题描述：今天在用Azkaban跑job的时候发现出了如下问题:14-11-202115:50:00CSTanalysisINFO-MismatchedTokenException(24!
谷应泰·2021-11-14 16:48

2021-10-17

Hadoop并不只是单单一个技术，而是一个生态圈，里面包括Spark、Flume、HBase、Kafka、Sqoop、Hive、Oozie、Azkaban、Zookeeper。
bingo fighting·2021-10-17 17:50

Azkaban【环境搭建 02】【azkaban-3.70.0 安装配置 安装阶段】【CentOS release 7.5】（含已编译的10个安装文件_可直接进行安装）

1.资源分享资源说明，一下文件是使用【azkaban-3.70.0.tar.gz】源码包进行编译生成的，生成的10个安装文件命名为【xxx-0.1.0-SNAPSHOT.tar.gz】这里将版本号手动修改为
シ風·2021-08-27 17:22

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-07-27 19:36

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-07-27 19:36

调度神器airflow-安装

airflow将调度任务构建成一个DAG，相比于azkaban利用压缩包zip，oozie用xml来编写任务依赖，airflow选择用python来灵活地编写任务以及其依赖。
星辰fml·2021-06-27 14:09

二Azkaban安装部署

2.1安装前准备1)将AzkabanWeb服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下1)azkaban-web-server
码农GG·2021-06-21 18:00

Azkaban2.5.0安装配置

软件准备Azkaban安装包，包括下面3个组件：azkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gzazkaban-web-server
CoderJed·2021-06-21 08:05

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-06-18 21:38

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-06-18 21:37

大数据平台 —— 调度系统 - Azkaban

Azkaban介绍常见的开源调度框架：LinuxCrontab：针对个人用户及小任务量ApacheOozie：功能强大，配置复杂的Hadoop任务调度框架Azkaban：开源的工作流管理器，轻量级调度框架
端碗吹水·2021-06-12 23:59

Azkaban安装手册

Azkaban安装手册一、安装前准备请确保upsql(mysql)、nginx安装成功二、正式安装1、上传安装包将编译好的azkaban分别上传至服务器/APS/usr/vdsappas目录下1）azkaban-db
叫小七的剑客·2021-06-04 07:13

Azkaban 指定executor执行任务

当使用multipleExecutor的时候，有一些场景需要指定Executor来执行任务，例如任务迁移的时候，需要将任务分配到新加入的Executor来观察其能够稳定运行，同时在出现问题的时候能够尽快分配到之前的没有问题的Executor来保证任务的稳定运行，因此，需要将任务分配到指定的Executor上来执行。首先看官网：大概意思就是在flowparams中设置"useExecutor"=EX
虾米在海飘·2021-05-21 04:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他