AzKaban

【Azkaban】Azkaban 3.1的安装

1.下载gitclonehttps://github.com/azkaban/azkaban.git2.buildTobuildAzkabanpackagesfromsource,run:.
曹振华·2021-05-18 01:59

azkaban简介及azkaban部署、原理和使用介绍

azkaban简介及azkaban部署、原理和使用介绍azkaban简介Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。
王亭_666·2021-05-16 14:37

Azkaban下载及编译

GitHub上下载源码gitclonehttps://github.com/azkaban/azkaban.git也可以直接下载相应的版本源码上传到服务器（需安装git）编译压缩为tar包cdazkaban
一个人一匹马·2021-05-12 15:58

工作流调研 oozie vs azkaban

公司内现在已经有团队在使用Airflow，运维UI界面以及对开发的友好性上貌似都要好于Oozie，本文只针对14年的调研对比结果，有空会对比一下两个系统流程Java主流程代码，Shell/Python代码对主流程调用，完成控制逻辑QA需要分别针对Java主流程代码测试，并添加Python代码的测试增加流程需要修改Python控制逻辑，并做整体逻辑回归Shell/Python代码的灵活性较高，实现风
UniMan·2021-05-08 19:13

利用Azkaban来完成大数据的任务调度

Azkaban简介Azkaban的架构Azkaban做什么Azkaban安装mysqlCreateadatabaseforAzkabanForexampleCreateadatabaseuserforAzkabanForexampleSetuserpermissionsonthedatabaseConfigurePacketSizemayneedtobeconfiguredTorestartMyS
达微·2021-05-07 18:25

六十三、Kylin的简介与安装

前面我们分别介绍了两个工作流调度系统——Oozie和Azkaban，本文我们来看一下一个全新的组件——Kylin。
象在舞·2021-05-07 08:42

Spark 从零到开发（八）nginx日志清洗并持久化实战

本文将介绍如何清洗nginx日志并存储到mysql中，附带azkaban定时任务协作完成对access.log的清洗任务。
FantJ·2021-05-05 18:02

==四种工作流的比较Cascading/Azkaban/Oozie/Hamake

使用Airbnb的Airflow来管理数据工作流-推酷http://www.tuicool.com/articles/JzIFNn工作流调研oozievsazkaban-http://www.jianshu.com
葡萄喃喃呓语·2021-05-03 14:42

透析哈利波特3

书名：HarryPotterandthePrisonerofAzkaban作者：jkrowling页数;259用时：两周左右感想小时候就读了这本书，现在重读了一遍英文原版的，感觉就是哈利变得没那么可爱了
pppppan·2021-04-27 22:21

六十一、Azkaban的简介与安装

类似于Oozie，Azkaban便是一个工作流调度的组件。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、Azkaban简介1.1什么是Azkaba
象在舞·2021-04-25 15:35

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
阿里云云栖号·2021-04-25 14:09

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
阿里云云栖号·2021-04-25 13:07

数据调度平台系统二大种类及其实现方法与流程

开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，zeus等等，此外，还有包括阿里
TASKCTL·2021-04-18 19:42

ETL调度系统及常见工具对比：azkaban、oozie、taskctl

最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。今天我们就先对其中一个比较火热的“App”——调度工具，做一个简单的评测对比，帮助大家快速解锁用开源工具做ETL的新姿势。为什么需要调度
TASKCTL·2021-04-17 19:36

大数据开发：大数据处理当中的数据调度是什么

当然，数据调度作为数据处理的重要一环，也早已有了很多成熟的解决方案，例如Oozie、Airflow、Zeus、Rundeck、Azkaban等调度平台框架，也是需要逐步去
成都加米谷大数据·2021-04-13 10:26

数据调度组件：基于Azkaban协调时序任务执行

一、Azkaban概述1、任务时序在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源
·2021-04-05 11:02

数据调度组件：基于Azkaban协调时序任务执行

一、Azkaban概述1、任务时序在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源
·2021-03-30 11:43

数据系统架构-8.任务调度系统

当然也有一些开源比较好用的调度系统可以直接使用，比如：azkaban、xxl-j
·2021-02-25 00:36

主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job

下文介绍主流大数据调度工具对比DolphinSchedulerAzkabanAirflowOozieXxl-jobXxl-jobDolphinScheduler（原EasyScheduler）AzkabanAirflowOozie
javastart·2021-02-02 19:32

大数据工作调度系统之Azkaban（Azkaban概述及安装配置）

文章目录大数据技术之Azkaban一、Azkaban概述1、工作流调度系统2、常见工作流调度系统3、Azkaban与Oozie对比二、Azkaban入门1、集群模式安装1.1上传tar包1.2配置MySQL1.3
TANCHISE·2021-01-21 18:04

Azkaban上传文件报错：Installation Failed. java.lang.String cannot be cast to java.util.Map

查看logs/azkaban-webserver.log发现：2021/01/1910:13:31.288+0800INFO[ProjectManagerServlet][Azkaban]Upload:
Programmer-Awei·2021-01-19 11:47

大数据技术核心框架最强知识体系总结||（2021版）（含面试题）

文章目录前言hadoop框架Hive数据仓库ZooKeeper协调服务系统HBasephoenixRedisFlumeSSMKafkaScalaSparkAzkaban常用工具前言希望能够给大家提供一些学习大数据的方法和一些基础的框架
张心情·2021-01-09 23:28

hadoop离线阶段（第十六节—2）azkaban的简介和安装

azkaban的简介azkaban官网：https://azkaban.github.io/Azkaban是由Linkedin开源的一个批量工作流任务调度器。
hwq317622817·2020-12-13 12:34

安装azkaban

1.上传jar包azkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gzazkaban-web-server-2.5.0.tar.gz2
秋雨ヾ·2020-09-17 05:14

azkaban安装配置

任务调度系统的比较oozie优势:老牌任务调度系统,稳定性高;cdh版本自动集成.无需担心兼容性劣势:重量级,任务调度依靠xml文件,门槛较高,不够灵活,不易于二次开发和后期维护kattle优势精细化控制,可以自定义实现复杂功能可以在windows上修改,创建,修改,运行控制任务劣势很多需求要kattle在linux上运行,kattle的设计往往在window完成,环境的差异可能遇到不可期的问题l
IAmListening·2020-09-15 13:34

azkaban安装部署

1.下载azkaban源码git链接地址2.中央maven太慢，修改为阿里云的仓库，修改build.gradle文件buildscript{repositories{maven{url'https://
Jatham_C·2020-09-15 13:29

PySpark学习案例——北京空气质量分析

下方有数据可免费下载目录原始数据环境各个组件所遇到的问题各种webUI端口Python代码azkaban调度kibana可视化原始数据下载数据:请点击我.提取码：736f或者登录：http://stateair.net
程研板·2020-09-15 12:30

12. 离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结

离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结1.Azkaban周期性调度任务1.1.总览1.2.调度脚本1.3.
越奋斗，越幸运·2020-09-15 12:55

Azkaban（二）：安装及3种模式部署

Azkaban理论篇，戳：一.安装前准备编译环境yum-yinstallgityum-yinstallgcc-c++下载源码&&解压wgethttps://github.com/azkaban/azkaban
songlllovescoding·2020-09-15 12:54

Azkaban安装和简单使用

文章目录1、Azkaban介绍和安装1.1介绍1.2下载安装包1.3配置和编译1.4配置Azkaban1.5Web登陆Azkaban2、Azkaban简单操作2.1编辑两个文件2.2创建项目和上传zip
11号车厢·2020-09-14 22:24

azkaban集群安装配置

azkaban集群安装配置官方文档地址https://azkaban.readthedocs.io/en/latest/1安装1.1下载源码https://github.com/azkaban/azkaban
yang556677·2020-09-14 17:08

Azkaban环境搭建与常见问题解决

Azkaban环境搭建与常见问题解决1.环境说明本次安装在centos7上，已存在的环境包括jdk，Hadoop，hive，sqoop。
无痕灬·2020-09-14 16:40

大数据教程（13.5）sqoop数据迁移工具安装&简单导入实例

2019独角兽企业重金招聘Python工程师标准>>>上一篇章节，介绍了azkaban的几个实战案例；本篇博客博主将为小伙伴们分享数据迁移工具sqoop的安装来帮助熟悉其使用。
weixin_34233421·2020-09-14 16:45

安装azkaban

一、azkaban文件下载到https://github.com/azkaban/azkaban下载zip文件，利用CRT将文件上传至liunx服务器网盘地址：链接：https://pan.baidu.com
坚持，再坚持一下·2020-09-14 15:38

azkaban的安装部署

azkaban介绍为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划
上等猪头肉·2020-09-14 15:58

Docker构建学习环境(4)-Azkaban Solo模式调度Spark

背景前段时间利用Docker部署了hadoop集群和spark，也简单的提交了任务。但是肯定有一个疑问，如果我们要执行定时任务怎么办呢？或者我们执行复杂的具有顺序的多任务怎么办？在大数据中，这种场景非常常见，一个大数据任务通常由大量的任务组成，并且可能是shell脚本、mapreduce任务、spark任务等，并且任务之间存在依赖关系。手动执行这种原始办法虽然可以，但是人总有出错的时候。今天要带来
VioletCherry·2020-09-14 14:44

Linux搭建Azkaban3.X

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
zhenzhendeblog·2020-09-14 13:59

Azkaban配置

1.下载Azkaban1.1登陆Azkaban的官网：https://azkaban.github.io/点击Downloads，如图示：1.2点击之后，在跳转的页面中选择Releases，进入页面选择相应的版本下载
hello_zzw·2020-09-14 12:38

Azkaban报错解决

Azkaban报错以及解决说明：使用Azkaban调度执行脚本时遇到的错误以及解决办法问题一：FAILED:ParseExceptionline16:36cannotrecognizeinputnear'else
数据游戏·2020-09-14 09:31

Linux下执行脚本提示No such file or directory

/gradlewdistTar编译azkaban的时候提示如下错误：:Nosuchfileordirectory2.原因分析：在当前目录下明显有这个脚本，既然它提示不存在，肯定是因为linux环境没有读到该文件
逸笔草草·2020-09-14 03:54

Azkaban 3.48 编译安装测试(自己总结)

Azkaban3.48编译安装测试(自己总结)Azkaban运行模式Azkaban分为三种模式模式说明SoloServer一个SoloServer进程包含了WebServer和Executor，使用自带的
yoshubom·2020-09-13 20:54

azkaban源码编译

解决的问题：azkaban代码是从gitHub上拉下来的,在本地上起是可以正常的收发邮件的,但是放在阿里云的环境上却无法收发邮件,报错:connecttimeout通过看源码发现原因是azkaban发送邮件默认使用的是
西西南偏南·2020-09-13 20:30

Azkaban源码编译

2019独角兽企业重金招聘Python工程师标准>>>Azkaban源码编译Azkaban没有提供成品的安装包，需要自己编译，其构建有两个硬性条件：1.Azkaban是使用Gradle构建的。
AirZH??·2020-09-13 20:49

azkaban3.12 编译与安装

安装过程主要是参考azkaban的安装-小海的专栏-博客频道-CSDN.NET因为公司的需要，硬着头皮安装了azkaban，由于本人十分小白，过程充满了痛苦，记过几天努力总算是可以进入azkaban的登录页面
SHP·2020-09-13 19:07

azkaban在阿里云环境上无法收发邮件（无需编译）

azkaban部署在阿里云环境上无法收发邮件,报错:connecttimeout原因是azkaban发送邮件默认使用的是STMP25端口,但是在阿里云上25端口是被禁用的.所以需要将25端口换到465端口采用
香山上的麻雀1008·2020-09-13 19:57

azkaban源码编译安装(解决[Azkaban] Unable to get scheduled flow triggers问题)

1安装Mysqlmysql安装文档有很多这里不详细描述2打包编译azkaban由于azkaban编译需要下载很多依赖JAR，国外镜像比较慢，所以需要修改为国内镜像yum-yinstallgitcd/root
ciqingloveless·2020-09-13 18:15

大数据实操篇 No.8-记一次业务简单的高可用离线计算/批计算

各机器上组件部署及进程运行情况第3章流程设计第4章准备工作4.1建立Hive表4.2建立MySQL表第5章具体步骤5.1生成应用日志5.2Flume采集日志5.3Flume拦截器过滤日志5.4Flume上传数据到HDFS5.5Azkaban
pezynd·2020-09-13 17:35

大数据实操篇 No.7-Azkaban HA高可用集群部署

第1章Azkaban简介Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
pezynd·2020-09-13 17:01

Azkaban源码编译（windows环境下编译）

第1章安装准备1.下载azkaban源码官网：https://azkaban.github.io/downloads.html（笔者下载的是Releases：https://github.com/azkaban
pezynd·2020-09-13 17:29

(Access denied for user 'root'@'slaver1' (using password: YES))

(Accessdeniedforuser'root'@'slaver1'(usingpassword:YES))1、问题描述，启动azkaban的时候报如下所示的错误。
小段大帅·2020-09-13 09:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他