【Azkaban】

Azkaban

Azkaban安装部署AzkabanWeb服务器azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器azkaban-executor-server-2.5.0.tar.gAzkaban
王宇真好是吧·2020-02-17 15:00

Azkaban安装

Azkaban安装1Azkaban介绍Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
yanzhelee·2020-02-09 20:14

HarryPotterAndThePrisonerOfAzkaban第十五章 魁地奇決賽6

ThenWoodwasspeedingtowardhim,half-blindedbytears;heseizedHarryaroundtheneckandsobbedunrestrainedlyintohisshoulder.HarryfelttwolargethumpsasFredandGeorgehitthem;thenAngelina's,Alicia's,andKatie'svoices
南郭子文·2020-02-05 12:54

102-BigData-30HBase

上一篇：101-BigData-29Azkaban一、HBaes介绍1.1、HBase简介HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库。
AncientMing·2020-01-08 01:19

四、Azkaban各种类型的Job编写

一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java
yannhuang·2020-01-07 01:30

Azkaban-3.x 配置信息说明

本文所指的配置信息是指azkaban.properties文件中的配置项1.AzkabanWebServer的配置(1)基本配置配置说明默认值azkaban.name网页上显示的Azkaban实例的名称
CoderJed·2020-01-06 18:03

剖析azkaban解析作业流

azkaban是没有创建作业流,创建任务,建立任务之间关系的操作的.它本身的工作模式,在本地进行编辑.创建任务,创建作业流,建立依赖关系,然后打成zip上传.DirectoryFlowLoader解压zip
wangqiaoshi·2020-01-05 23:23

养子杂谈74

（转载）74：阅读完3本英文原著后的总结在圣诞节这天基本按照进度安排完成了哈利•波特3——《HarryPotterandtheprisonerofAzkaban》。
majyer·2020-01-05 20:51

Azkaban-3.x Conditional Workflow

1.WhatisAzkabanConditionalWorkflow?
CoderJed·2020-01-03 08:55

azkaban3.38.0 mac安装

1.下载azkaban3.38.0压缩包：https://github.com/azkaban/azkaban/releases/tag/3.38.02.解压后文件夹重命名为azkaban3.在azkaban
7A6A78·2020-01-02 02:37

airflow的使用方法

类似产品比较系统介绍ApacheOozie使用XML配置,Oozie任务的资源文件都必须存放在HDFS上.配置不方便同时也只能用于Hadoop.LinkedinAzkabanweb界面尤其很赞,使用javaproperties
lao男孩·2020-01-01 18:33

Azkaban-3.x solo-server 模式部署

环境准备JDK-1.8+软件准备azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz参考Azkaban-3.x源码编译1.solo-server模式简介solo-server
CoderJed·2019-12-31 16:40

azkaban（最适合入门）

这里先默认大家都已经安装并配置完成了azkaban1、启动azkaban启动azkabanserver。
木迪_2a4e·2019-12-27 04:28

azkaban安装Linkis jobType

参考：https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/Azkaban_LinkisJobType_Deployment_Manual.md
陈耿聪·2019-12-25 17:00

Azkaban 3.0 安装 - 单机模式

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
大数据之心·2019-12-25 08:19

等待hive表某个分区有数据再执行任务

有时上游任务不好串到同一个DAG（比如azkaban任务）中，这时需要轮询指定分区是否有数据，如果有则执行下一个任务。
马尔克ov·2019-12-24 05:13

最简单之安装azkaban

一，拉取源码构建gitclonehttps://github.com/azkaban/azkaban.gitcdazkaban;.
陈耿聪·2019-12-23 18:00

三、Azkaban功能总体介绍

一、概述Azkaban是一套任务调度系统，可以调度command、hadoopMR、hive、spark、pig等任务，而且支持自定义plugin。本文将总体介绍Azkaban系统提供的各种功能。
yannhuang·2019-12-21 04:28

七、Azkaban企业应用实例

一、业务场景在广告追踪系统中，我们通过提供SDK给用户，把各种各样的用户数据采集到我们的服务器中，然后通过MR计算，统计各种输出。在本文中，笔者将抽取其中一种业务场景：计算用户留存和付费LTV。为了计算以上两个指标，需要采集三类数据：账户的激活、在线、付费记录。其中用户留存和付费LTV的计算过程如下：1、用户留存：把用户今天在线的数据，与一个月内的用户激活数据做对比，找出今天在线的用户，是在那天激
yannhuang·2019-12-18 18:56

101-BigData-29Azkaban

上一篇：100-BigData-28Sqoop一、概述1.1为什么需要工作流调度系统1）一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2）各任务单元之间存在时间先后及前后依赖关系3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每
AncientMing·2019-12-15 21:54

五、Azkaban源码总体分析

一、概述Azkaban的执行代码主要分为四大模块：(1)azkaban-webserver：主要提供web界面展示和接收http请求的模块(2)azkaban-execserver：具体执行任务的模块(
yannhuang·2019-12-12 17:19

一、Azkaban源码编译过程

一、概述Azkaban项目由以下两个工程组成Azkaban：包括exec和web等工程，如果是单机版，则使用solo工程，源码地址：官网社区版：https://github.com/azkaban/azkaban
yannhuang·2019-12-07 12:44

二、Azkaban单机与集群的安装

一、概述在上一篇文章中，描述了如果使用源码对Azkaban进行编译并打包的过程，如果用户不想自己手动编译，可以直接下载笔者已经编译好的安装包，下载地址如下：百度云链接：http://pan.baidu.com
yannhuang·2019-12-07 06:16

六、Azkaban DE版改造功能介绍

原生的Azkaban提供了强大的任务调度功能，但是面对复杂的业务要求，原生的Azkaban还是不能完全满足我们的需求。
yannhuang·2019-12-06 21:39

Oozie 介绍

Hadoop调度框架LinuxCrontabAzkabanhttps://azkaban.github.io/Ooziehttp://oozie.apache.org/Zeushttps://github.com
志辉聊码·2019-11-30 22:21

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜科技·2019-11-22 11:41

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜·2019-11-21 15:09

Azkaban－开源任务调度程序（使用篇）

输入账号密码azkaban/azkanban（如果你之前没有更改的话）首页首页有四个菜单projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
haort·2019-11-07 15:15

Azkaban flow 执行过程

webserver调用submitExecutableFlow执行任务：submitExecutableFlow判断queueflow是否满了，默认大小为100000：capacity调用uploadExecutableFlowuploadExecutableFlow"INSERTINTOexecution_flows"+"(project_id,flow_id,version,status,su
虾米在海飘·2019-11-02 17:46

Azkaban四个应用案例

Azkaban四个应用案例Azkaba内置的任务类型支持command、java案例一（单个job）创建job描述文件#command.jobtype=commandcommand=echo'hello
yanzhelee·2019-11-01 12:19

Flume笔记

flume自定义拦截器：实现Interceptor接口flume自定义source：继承AbstractSourceflume自定义sink：继承AbstractSinkazkaban:任务调度工具。
你好！Mr陈·2019-10-21 14:00

AIRFLOW使用总结

并且流程比较复杂，经过选型对比，决定选用airflow作为流程调度器一、选型对比网上有较详细的各种流程调度器特性对比：https://www.jdon.com/workflow/Airflow-vs-Azkaban-vs-Conductor-vs-Oozie-vs-Amazon-Step-Functions.html
peking1987·2019-10-20 10:04

Python3实战Spark大数据分析及调度 学习 资源✌✌

Python3实战Spark大数据分析及调度学习资源python3实战讲解了Spark核心功能组件，并结合调度爆款框架Azkaban，以天气数据分析做为实战项目，让你学会对大数据进行处理与分析，让Python
一个爱IT的美少女·2019-10-15 15:00

azkaban2.5.0安装及其使用

Azkaban安装部署安装前准备azkaban-web-server-2.5.0.tar.gzazkaban-executor-server-2.5.0.tar.gzazkaban-sql-script
Kevin_鹿·2019-10-06 18:46

Azkaban-3.x 创建Flow

1.Flow2.0基础使用AzkabanFlow2.0来创建任务流，Flow1.0将被废弃创建一个名为flow20.project的文本文件，添加如下内容用以说明这是一个AzkabanFlow2.0的项目
CoderJed·2019-09-30 10:15

Azkaban-3.x 页面操作手册

1.创建Flow使用AzkabanFlow2.0来创建任务流，Flow1.0将被废弃创建一个名为flow20.project的文本文件，添加如下内容用以说明这是一个AzkabanFlow2.0的项目：azkaban-flow-version
CoderJed·2019-09-28 16:09

Azkaban用户管理,添加用户，定义组，定义角色

1.Azkaban用户管理在azkaban中${AZKABAN_HOME}/conf/azkaban.properties中的以下配置文件来进行用户的管理。
宁哥说·2019-09-05 10:17

大数据任务调度（Azkaban，Oozie）

文章目录常见调度工具OozieOozie架构Oozie运行原理Oozie工作三大核心Oozie元数据库OozieAction节点类型OozieJob创建方式Hue创建Ooziejob步骤及演示OozieWeb界面查看workflow,coord,bundleOozie的ActionOozieWorkflow之HiveActionOozieWWorkflow之ShellActionOozieWWor
-无妄-·2019-09-03 17:09

分布式任务调度框架 Azkaban —— Flow 2.0 的使用

一、Flow2.0简介1.1Flow2.0的产生Azkaban目前同时支持Flow1.0和Flow2.0，但是官方文档上更推荐使用Flow2.0，因为Flow1.0会在将来的版本被移除。
黑白影·2019-09-01 15:00

分布式任务调度框架 Azkaban —— Flow 1.0 的使用

一、简介Azkaban主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念：Job：你需要执行的调度任务；Flow：一个获取多个Job及它们之间的依赖关系所组成的图表叫做Flow。
黑白影·2019-09-01 08:00

Azkaban 3.x 编译及部署

一、Azkaban源码编译1.1下载并解压Azkaban在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。
黑白影·2019-09-01 08:00

Azkaban 简介

一、Azkaban介绍1.1背景一个完整的大数据分析系统，必然由很多任务单元(如数据收集、数据清洗、数据存储、数据分析等)组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。
黑白影·2019-09-01 08:00

Azkaban安装部署

我的博客https://jiamaoxiang.top/Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
jmx_bigdata·2019-08-28 13:19

Azkaban-3.x two-server 模式搭建

环境准备Azkaban安装包azkaban-db-0.1.0-SNAPSHOT.tar.gzazkaban-exec-server-0.1.0-SNAPSHOT.tar.gzazkaban-web-server
CoderJed·2019-08-23 16:23

Azkaban-3.x 生成 keystore 和 truststore 文件

1.生成keystore我这里所有需要输入的密码都是azkaban建议回答的问题是最后的CN，其他可以选择性的填，不填的话直接回车就可以，最后的确认信息回复y是必填的[hadoop@beh07conf]
CoderJed·2019-08-23 14:09

Azkaban-3.x 用户管理

绝大多数应用系统都会有用户和权限管理的功能，Azkaban当然也有，用户可用于登录页面，权限则可以控制当前用户可以看到哪些project，以及对他的操作范围进行控制。
CoderJed·2019-08-23 13:03

Azkaban-3.x 源码编译

软件准备Azkaban源码包，下载地址：https://github.com/azkaban/azkaban/releases我这里使用3.76.0版本环境准备JDK-1.8+Git：yuminstallgit-y
CoderJed·2019-08-21 16:01

大数据组件架构

1大数据架构图1大数据架构大数据架构分为:数据采集,传输,存储,调度和处理这五个部分.其中包括任务定期执行和任务分配,分别使用Azkaban和Zookeeper.2存储数据类型结构化数据:数据库数据.半结构化数据
xdq101·2019-08-18 16:19

requests访问https站点证书告警问题

背景想使用api的方式去访问公司内部azkaban平台，https站点，azkaban的官方api文档使用的curl语句，如下：curl-k-XPOST--data"action=login&username
whendream·2019-08-16 14:00

Azkaban3.x编译

1.环境准备git,gcc,g++,jdk1.8,联网环境2.下载azkaban源码gitclonehttps://github.com/azkaban/azkaban.git或者(本次编译的是3.7.
Jreds·2019-08-09 15:32
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他