【Azkaban】

Azkaban工作流管理入门

Azkaban概述Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性问题，我们有需要按顺序运行的工作，从ETL工作到数据分析产品。
方兵兵·2020-06-21 08:37

azkaban的简单入门

一、下载从github上下载，azkaban，需要注意的是，azkaban官方只是提供了源码，需要我们自己编译。
文文文文文哥·2020-06-21 07:27

Hadoop入门之azkaban的安装和使用

1.azkaban的安装http://blog.csdn.net/sqh201030412/article/details/515483552.azkaban的几种使用2.1使用小Demo#commandtype
当以乐·2020-06-21 07:48

Hadoop入门之自动化定时调度之Azkaban部署及使用

azkaban的部署使用及如何结合项目的使用思考1部署azkaban1.1准备工作,下载相关安装包,这里我使用的是2.5版本的官方:http://azkaban.github.io/downloads.html
当以乐·2020-06-21 07:48

【Azkaban】Azkaban入门解析

（图片来源于网络，侵删）一、Azkaban概述1.简介Azkaban是由Linkedin开源的一个批量工作流任务调度器用于在一个工作流内以一个特定的顺序运行一组工作和流程Azkaban定义了一种KV文件格式来建立任务之间的依赖关系
默默走开·2020-06-21 06:50

Azkaban部署与入门（3.X）

Azkaban简介Azkaban一个批量工作流任务调度器，使用Java语言开发。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
就叫我k吧·2020-06-21 05:47

Azkaban入门级应用

话不多说接下来就把我自己的对Azkaban学习之后的入门技巧与各位小伙伴进行分享！那我们开始吧！Azkaban是由Linkedin公司推出的一个批量工作流任务调度器。
D·Virus·2020-06-21 05:27

azkaban3.0+的编译安装及踩坑

azkaban的安装以及踩坑下载azkanban的源码包编译安装创建数据库创建密钥修改azkaban-exec-server下配置文件，引入mysql的依赖包登录mysql，将azkaban数据库下的executors
何谓失去·2020-06-21 05:29

Apache AzKaban 环境搭建与入门使用

1.azkaban的环境搭建要求：由于这里azkaban要调度hive作业，可能存在调度sqoop等作业，因此需要安装在有这些节点的机器上1）上传jar包并解压缩(三个)mkdir/home/hadoop
猫君之上·2020-06-21 05:43

[hadoop][Azkaban]#1_azkaban快速入门

Dependency作业#foo.jobtype=commandcommand=echofoo#bar.jobtype=commanddependencies=foocommand=echobar2个文件打包为ziphdfs作业#hdfs.jobtype=commandcommand=hadoopfs-ls/打包为zipmapreduce作业#mr.jobtype=commandcommand=h
PeppaKing·2020-06-21 04:54

AZKABAN安装

安装azkaban请按照以下步骤开始：1.克隆回购：gitclonehttps://github.com/azkaban/azkaban.git2.构建Azkaban并创建安装包：cdazkaban;.
放弃自己·2020-06-21 04:18

Azkaban入门篇

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。
Qiao丫头·2020-06-21 04:58

Azkaban使用实战（附资料）

源码资料：链接：https://pan.baidu.com/s/1D5TVoozk9Wen4gkng6nZ5g提取码：wv6s1．shellcommand调度1.1直接写命令创建job描述文件vicommand.job#command.jobtype=commandcommand=echo'hello'将job资源文件打包成zip文件zipcommand.job1.2将shell脚本单独抽出来co
北山璎珞·2020-06-21 00:11

Azkaban实战-java操作任务

使用Azkaban调度java程序1.编写java程序importjava.io.FileOutputStream;importjava.io.IOException;publicclassAzkabanTest
Movle·2020-06-20 23:39

工作流调度器azkaban（03）——azkaban实战

一定不要带上，保存为格式为UFT-8withoutbom内容如下type=commandcommand=echo'helloworld'将job资源文件打包成zip文件创建project并上传压缩包通过azkaban
Fenggms·2020-06-20 22:43

Azkaban快速入门系列(3) | 一文带你快速了解Azkaban的实战应用(建议收藏！！！)

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenb
不温卜火·2020-06-20 21:02

Azkaban快速入门系列(2) | Azkaban安装部署

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenb
不温卜火·2020-06-20 21:31

Azkaban快速入门系列(1) | Azkaban的简单介绍

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenb
不温卜火·2020-06-20 21:31

nfs挂载

一、NFS挂载192.168.6.2/home/sharedata 挂载到 192.168.6.100/home/data_azkaban（一）192.168.6.2上操作：1，查看rpcbind、nfs
竹蜻蜓vYv·2020-06-08 09:49

数仓--Azkaban3-mysql中元数据库

面试被问到Azkaban的job历史信息存在那张表中概述Azkaban3共15张表，分别用于存储任务调度，定时任务，触发器，项目Project,工作Flows，作业Jobs等。
李小李的路·2020-05-29 17:26

解决启动Azkaban报错问题：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap

问题描述：启动Azkaban报错：java.lang.NoSuchMethodError:com.google.common.collect.ImmutableMap.toImmutableMap解决方法
andyguan01_2·2020-05-03 10:09

Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

Issue2019/05/0921:50:07.380+0800ERROR[ExecutorManager][Azkaban]Noactiveexecutorsfound2019/05/0921:50:
JP-Destiny·2020-05-03 10:02

Azkaban3.81.x部署过程及遇到的坑

Azkaban是什么？
buildings·2020-05-03 09:11

Azkaban3.81.x部署+坑

一、前提安装1.1Java1.8环境搭建1)下载jdk1.8并解压：#tar-zxvfjdk-8u201-linux-i586.tar.gz-C/usr/local2)添加Java环境变量，在/etc/profile中添加：exportJAVA_HOME=/usr/local/jdk1.8.0_201exportPATH=$PATH:$JAVA_HOME/binexportJRE_HOME=$JA
buildings·2020-05-03 03:00

配置过max_allowed_packet依然 Error Chunking during uploading files to db..

mysql配置问题，导致上传azkaban上传包时出现installationFailedErrorChunkingduringuploadingfilestodb..已经设置过max_allowed_packet
即便那总是过去·2020-04-15 17:00

基于HiveSever2的Azkaban插件的实现思路

title:基于HiveSever2的Azkaban插件的实现思路date:2017-02-0513:45:03tags:[Azkaban插件,Hive,HiveServer2]categories:"
duval·2020-04-13 04:11

Airflow来管理数据工作流

使用Airbnb的Airflow来管理数据工作流-推酷http://www.tuicool.com/articles/JzIFNnInfoQ：拿Airflow与Azkaban(LinkedIn)、Luigui
葡萄喃喃呓语·2020-04-11 10:16

azkaban 数据库设计

版本:v3.1.0azkaban有17张表,分成6类project,scheduler,triggers,executions,executors,sla.其中project中最为丰富,project包含有什么工程
wangqiaoshi·2020-04-07 11:27

Azkaban工作流引擎和Flume数据采集

.Azkaban工作流引擎和Flume数据采集Azkaban介绍一、Azkaban简介Azkaban是由Linkedin开源的一个**批量工作流任务调度器**。
依天立业·2020-04-05 11:40

azkaban 开发环境搭建

使用工具intelij启动AzkabanWebServerazkabanwebServer的入口函数是AzkabanWebServer.StringstaticDir=azkabanSettings.getString
wangqiaoshi·2020-04-04 04:39

Ooize任务调度框架浅析

常见的几种任务调度框架Azkaban是有Linkedin开源的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种键
心_的方向·2020-03-31 21:24

Azkaban－开源任务调度程序（安装篇）

最近项目迁移到新集群，试试同事推荐的开源任务调度程序－azkaban（阿兹卡班），没看错，就是哈利波特里的阿兹卡班，azikaban主要用来解决hadoop依赖任务的执行，但是它本身支持linux和java
haort·2020-03-30 18:26

Azkaban编译、架构及运行模式简介

1.下载源码https://github.com/azkaban/azkaban查找想要安装的版本按官网gitclone的是最新版本，但最新的不一定是稳定版本，因此建议在github找一个稳定版本2.在此下载
白面葫芦娃92·2020-03-29 03:31

Azkaban Learning

title:AzkabanLearningdate:2017-01-1111:54:03tags:[Azkaban,调度系统,大数据组件]categories:"调度系统"Azkaban关键字：Azkaban
duval·2020-03-28 08:40

azkaban-plugins 开发环境搭建

简述azkaban-plugins是用ant构建的,既然ant已经是老式的工程构建工具,为什么不用maven,gradle替换掉它？
wangqiaoshi·2020-03-28 00:14

Azkaban集群模式安装与execute-as-user配置

简介Azkaban在官网上的说明中介绍是支持集群模式的，网上看了不少文章，写得最多的是solo-server安装，零星的有几篇集群安装，但也没有说到很详细的地步。
GoofyWang·2020-03-27 09:01

红象云腾CRH 一键部署大数据平台

平台：arm类型：ARM模板软件包：azkabanhadoop2.6hbasehivekafkasparkzeppelinazkabanbasicsoftwarebigdatahadoop2.6hbasehivekafkasparkzeppelin
ITknight·2020-03-26 07:22

好记性不如烂笔头!

http://www.cnblogs.com/zlslch/Azkaban（第三方工作流）与Oozie（Hadoop内置工作流）、hadoop工作流（概念学习和搭建系列）(17)BigData各子项目集群的详细启动步骤
Albert陈凯·2020-03-25 22:39

DataSphereStudio 安装

azkaban编译安装遇到的问题javax.net.ssl.SSLException:UnrecognizedSSLmessage,plaintextconnection?
...TonyXu...·2020-03-23 12:35

Azkaban 2.5 Documentation

OverviewAzkabanwasimplementedatLinkedIntosolvetheproblemofHadoopjobdependencies.Wehadjobsthatneededtoruninorder
WindWant·2020-03-22 01:00

解决：azkaban进行调度作业操作的时候，报错：Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job

问题背景：【Insoloservermode】用azkaban进行调度作业的时候报错：Cannotrequestmemory(Xms0kb,Xmx0kb)fromsystemforjob任务执行时，申请不到内存解决
Sam_L·2020-03-20 18:22

azkaban配置多节点集群模式部署

azkaban有2种集群模式：1.首先需要在web-server配置多节点模式azkaban.use.multiple.executors=trueazkaban.executorselector.filters
skyjunjun·2020-03-16 11:52

HarryPotterAndThePrisonerOfAzkaban第六章 鹰爪和茶叶7

"WHATD'YEHTHINKYOU'REDOIN',EH?"heroared,sosuddenlythattheyjumpedafootintheair."YEH'RENOTTOGOWANDERIN'AROUNDAFTERDARK,HARRY!AN,YOUTWO!LETTIN'HIM!"HagridstrodeovertoHarry,grabbedhisarm,andpulledhimtothe
南郭子文·2020-03-16 03:42

数据天生就是流式的

现在依然很多人使用Azkaban/Oozie等工具衔接各个系统，通过外力让数据进行流转。而随着流式计算慢慢成熟与稳定，数据必然如河水一般，天生就是流式的。
祝威廉·2020-03-14 08:16

azkaban工作流调度

简单的任务调度可以用linux的crontab来定义，复杂的调度可以用oozie、azkaban。
pamperxg·2020-03-09 11:09

Harry Potter and the Prisoner of Azkaban

theprisoner这本书开篇渲染紧张的气氛，有一点点黑暗的味道，siriusblack在传言中十恶不赦，还直接导致了harry父母的死，剧情却在最后翻转，他才是最爱harry的那个人，而小说中前面用于制造紧张气氛的场景，例如harry在knightbus旁边看到大狗，也不过是black担心他，想看看他过的好不好，这样的情节翻转前后呼应，让读者不禁会心一笑。感觉有点像去网吧抓孩子上网的家长，小时
OliviasWatch·2020-03-07 01:45

Oozie框架基础

oozie.apache.org/docs/4.0.0/DG_QuickStart.html除Oozie之外，类似的框架还有：**Zeus：https://github.com/michael8335/zeus2**Azkaban
Z尽际·2020-03-01 01:05

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

调度工具横评最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只
数澜科技·2020-02-22 09:40

关于gobblin应用-mapreduce+azkaban

一。gobblin部署【mapreduce模式】1.源码编译：下载源码链接a。解压文件tar-zvxfincubator-gobblin-release-0.14.0.tar.gzb。切换到解压文件夹根目录【gradle安装自行参考网上】需要保持指定的hadoop版本和线上集群一致（最起码是兼容的）./gradlewbuild-PhadoopVersion=2.6.0-cdh5.14.2-Pver
神奇的考拉·2020-02-22 02:27

剖析 azkaban load plugins

插件有很多,azkaban预留的接口多种多样,比如UserManager,Job,LoginAbstractAzkabanServlet等.首先我要讲的是,jobType插件的加载.jobType只需要由
wangqiaoshi·2020-02-20 22:45
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他