【Azkaban】

Azkaban介绍

Azkaban介绍一、登陆：https://192.168.99.62:8443二、首页介绍projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
你说你要个夏天·2019-01-07 11:50

Azkaban学习之路

概述：Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业。
薛宝·2018-12-28 20:09

airflow介绍

任务单元之间存在时间先后以及前后依赖关系2、常见工作流调度系统系统自带的工具：linux:crontabwindows:任务计划程序开源：apacheoozie:重量级的任务调度系统，功能全面，配置复杂，XML文件定义工作流azkaban
Gzigithub·2018-12-26 09:40

工作流调度器azkaban的安装和使用

前言为什么需要工作流调度器？1.一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2.各任务单元之间存在时间先后及前后依赖关系3.为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：1.通过Hadoop
夜古诚·2018-12-24 18:51

azkabin的安装与调试

Git上下载源码：地址：https://github.com/azkaban/azkaban解压源码到/home：unzip/home/azkaban-master.zip-d/home/编译源码：安装
qq_37001101·2018-12-17 16:35

【任务调度系统第三篇】：Azkaban原理介绍

写在前面Azkaban官网：https://azkaban.github.io/1.azkaban简单介绍Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程
hxcaifly·2018-12-01 20:19

Azkaban 3.62 安装

介绍Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。
Lyle-liang·2018-11-27 18:06

Azkaban 总览

一、为什么需要工作流调度器1、一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2、各任务单元之间存在时间先后及前后依赖关系3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：1、通过Hadoop先
Lyle-liang·2018-11-27 17:29

Sqoop1一般用于线上、测试脚本环境开发

注意：sqoop部署运算节点一般有hive、hbase、azkaban、oozie的节点上还有数据库的节点上Sqoop开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql
OnTheRoad_Kang·2018-11-24 21:14

hadoop

分布式计算框架HIVE：数据仓库工具HBASE：分布式海量数据库ZOOKEEPER：分布式协调服务基础组件MAHOUT：基于mapredue、spark、flink等分布式计算框架的机器学习算法库OOZIE/AZKABAN
H.U.C.小黑·2018-11-23 09:52

大数据----【azkaban的部署及实战测试】

工作流程调度器1.工作流程调度系统产生背景一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,MapReduce程序,hive脚本等各个任务单元之间存在时间先后依赖关系为了更好地组织起这样的复杂执行计划,需要一个工作流程调度系统来调度执行2.工作流程调度实现方式简单的任务调度:直接使用linux的crontab来定义,但是缺点较明显,无法设置依赖.复杂的任务调度:自
CoderBoom·2018-11-22 17:49

flume、azkaban、sqoop小操作

而且不要放重名文件,否则处理后发现有重名文件会报错execunix命令的执行结果作为要接受的数据例如tail-Fxxx.logavro常用于RPC,远程数据传输,在agent串联中作为上一个agent下沉地出现azkabanazka
孙喔喔的gorilla·2018-11-21 21:41

azkaban安装与配置

azkaban安装与配置以azkaban2.5为例：1、MySQL安装与配置sudoservicemysqldstartmysql-uroot-pa、为azkaban单独创建一个数据库：CREATEDATABASEazkaban
bug发现与制造·2018-11-11 23:53

初识livy

里面去的，比如：今天凌晨去处理昨天的数据，肯定是需要获取到date，然后做date-1操作(当前天数减1就是昨天了)，之后配置crontab，把shell脚本配置上去，每天凌晨定时执行就行了，或者采用azkaban
疯狂呼呼呼·2018-10-31 01:46

Azkaban之hive的job

1、前提是安装好azkaban2、从官网上下载azkaban-jobtype-2.5.0.tar.gz这个压缩包下载地址为：https://s3.amazonaws.com/azkaban2/azkaban-plugins
keep_walk·2018-10-29 20:57

Azkaban使用

https://azkaban.github.io/azkaban/docs/latest/#how-to创建一个流程：一个流程是一个依赖其他job的job。其他依赖项经常会运行在这个流程job之前。
首席撩妹指导官·2018-10-25 10:12

Azkaban3.59.x 最新版极简入门

1.Azkaban概述Azkaban技术产生前景：在大数据分析场景中，以ETL（Extract抽取-Transform交互转换-Load加载）为例，数据的操作包含了如下流程：RDBMS==>Sqoop=
CoderLean·2018-09-29 18:16

hadoop各个Web界面地址

HistoryServer的管理界面：198884、Zookeeper的服务端口号：21815、Mysql的服务端口号：33066、Hive.server1=100007、Kafka的服务端口号：90928、azkaban
夜古诚·2018-09-24 21:14

Azkaban 实战

该教程主要实现了使用Azkaban通过sqoop将mysql的数据同步至hive中，具体代码详见：https://download.csdn.net/download/luomingkui1109/10667367
似梦似意境·2018-09-14 11:46

Azkaban 详解

1.Azkaban是什么？
似梦似意境·2018-09-13 16:14

mysql 常用命令总结备份

阅读更多1mysql表期待插入时间更新时间是当前时间：ALTERTABLEazkaban_jobADDCOLUMNcreatetimeDATETIMEDEFAULTCURRENT_TIMESTAMP；CREATETABLEazkaban_job
chengjianxiaoxue·2018-09-11 11:00

shell脚本执行hive命令传值给sql文件、shell传参

使用场景，大数据平台azkaban任务中通过shell脚本调用sql文件（尤其是调用多个sql时），希望可以传参到sql文件中方法：本例以sh调用hive命令执行sql为例，道理相同1、sh文件中执行hive-f
grootblockchain·2018-08-31 11:57

azkaban-2.5.0单机版安装部署

安装包如下：image.png下载地址：https://pan.baidu.com/s/1yANr-gchQm9j86-iRjdxrw安装azkaban-web创建azkaban数据库解压缩前面下载的azkaban-sql-script
寇寇寇先森·2018-08-27 09:55

Azkaban 源码分析之作业执行篇

Executor执行信息分析当服务器通过ExecutorManager中dispatch方法将服务器的提交信息交给flow的时候．Executor这边通过Azkaban-exec-server/ExecutorServlet
陌城小川·2018-08-24 21:07

大数据调度框架Oozie概述以及安装部署

一、初步认识Oozie常用的调度框架：LinuxCrontabAzkaban（简单易用，但是功能不够全）OozieZeus（阿里开源框架）Oozie是一个分布式大数据调度框架，在oozie中，有两个重要的概念
不清不慎·2018-08-22 16:46

什么是Oozie——大数据任务调度框架

功能相似的任务调度框架还有Azkaban和Zeus。Oozie三大功能模块从图中不难看出，Oozie主要有三大功能模
TNTZS666·2018-08-21 22:15

Azkaban学习指南

1.Azkaban是什么？
大魔王DEMO·2018-08-21 17:06

hadoop搭便车指南(2)-Airflow的安装

集群后就可以使用了.但是生产环境的hadoop任务非常复杂,必须有维护任务调度和依赖的工具.CDH官方的工具是oozie,我们的选型是airflow.airflow相对于其他的hadoop任务调度工具(ooziw,azkaban
有赞洪斌·2018-08-16 11:42

go读取写入xml文件

xml想要读取xml文件中的相关信息，xml如下图所示：Thedemo对应xml中内容编写结构体//xml文件中节点typeStrResourcesstruct{XMLNamexml.Name`xml:"azkaban-users
四月伊人·2018-08-15 20:24

Datax 与 Azkaban 实现数据抽取与调度

1.什么是DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。DataX采用了框架+插件的模式，目前已开源，代码托管在githubDataX的安装省略配置详情可见https://github.com/alibaba/DataX运行原理介绍
bigdataCoding·2018-07-26 10:19

工作流调度器azkaban——权威指南

1.工作流调度器azkaban1.1概述1.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划
宁哥说·2018-07-26 00:27

azkaban3.16安装部署坑以及azkaban邮件提醒设置

一、azkaban3.16安装部署启动azkaban-web-server-3.16.0或azkaban-exec-server-3.16.0是如果摆错内容为找不到global.properties、azkaban-users.xml
grootblockchain·2018-07-24 15:11

启动azkaban报错

/azkaban-web-start.sh报错UsingHadoopfrom/home/hadoop/hadoop-2.6.0UsingHivefrom./..:./..
dahsna112233·2018-07-24 06:37

azkaban plugin在cdh cloudera环境下的配置之 jobtype插件

复制编译后的jobtype到exec服务的插件下，cpdist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz/home/app/azkaban/azkaban-exec-server
sunxboy·2018-07-18 17:14

azkaban plugin在cdh cloudera环境下的配置之 jobtype插件

阅读更多复制编译后的jobtype到exec服务的插件下，cpdist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz/home/app/azkaban
sunxboy·2018-07-18 17:00

azkaban plugin在cdh cloudera环境下的配置之 HDFS插件

CDHexportHADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn执行命令source/etc/profile命令使其立即生效，建议退出终端重新登录，否则会在启动AzkabanWeb
sunxboy·2018-07-18 10:03

azkaban plugin在cdh cloudera环境下的配置之 HDFS插件

阅读更多安装HDFS插件1.配置Hadoop环境变量，在/etc/profile文件末尾增加如下配置：exportHADOOP_HOME=/opt/cloudera/parcels/CDHexportHADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn执行命令source/etc/profile命令使其立即生效，建议退出终端重新登录，否则会在启动Azkaba
sunxboy·2018-07-18 10:00

Azkaban介绍与使用

输入账号密码azkaban/azkanban（如果你之前没有更改的话）图1首页首页有四个菜单projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
宁哥说·2018-07-17 09:53

Hadoop学习（十七）——azkaban原理及案例

笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。我的公众号为：livandata1.1概述1.1.1为什么需要工作流调度系统l一个完整的数据分析系统通常都是由大量任务单元组
livan1234·2018-07-16 00:00

Azkaban安装并设置定时任务Schedule以及邮件发送接收

而使用Azkaban可以很方便的管理任务之间的依赖关系，可以设置任务失败执行重试操作和邮件发送，NICE！安装首先第一步肯定是要上官网瞄一下啦！
yekanghui·2018-06-27 15:42

Azkaban简单入门

1.Azkaban概述1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等。
CoderLean·2018-06-26 11:02

Azkaban集群内部调度原理分析

Azkaban是一个非常简单实用，而且开源的作业调度系统。在2.x版本中不支持集群模式部署，在3.x版本中支持集群模式部署，适用于作业量比较大一些的应用场景。
javastart·2018-06-19 16:32

Hadoop工作流引擎之Azkaban-杨帅-专题视频课程

Hadoop工作流引擎之Azkaban—81人已学习课程介绍为什么Hadoop需要工作流？工作流对Hadoop到底有哪些好处？Hadoop有哪些内置的工作流？Oozie和Azkaban到底有哪些区别？
djt_20180507·2018-06-14 16:31

Azkaban 使用问题记录

Cannotrequestmemory(Xms0kb,Xmx0kb)fromsystemforjobhello,sleepfor60secsandretry,attempt1of720错误原因：azkaban
HG_Harvey·2018-06-06 11:27

Azkaban 使用

Azkaban安装请参考博客：https://blog.csdn.net/hg_harvey/article/details/80342396登录Azkaban，首页有四个菜单projects：最重要的部分
HG_Harvey·2018-05-31 14:57

工作流调度器azkaban

工作流调度器azkaban1.1概述1.1.1为什么需要工作流调度系统1.一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2.各任务单元之间存在时间先后及前后依赖关系
l1212xiao·2018-05-29 00:08

Azkaban 简介及安装(3.x)

1.Azkaban简介官网：https://azkaban.github.io/Azkaban一个批量工作流任务调度器，使用Java语言开发。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
HG_Harvey·2018-05-16 20:26

作业流 oozie调度框架的配置与使用（一）

linux下的crond使用定制计划任务*****后面接调度job的命令分时日月周hive-e""执行一个sql命令hive-f""执行一个sql脚本结合crond使用1.2常见的协作调度框架：1.2.1Azkaban
flyfish225·2018-04-12 13:48

Oozie 介绍

Hadoop调度框架LinuxCrontabAzkabanhttps://azkaban.github.io/Ooziehttp://oozie.apache.org/Zeushttps://github.com
治辉料码·2018-04-05 16:39

azkaban安装插件

如何在Azkaban安装插件(二)温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
自然语言处理-nlp·2018-04-04 22:05
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他