AzKaban

azkaban在阿里云环境上无法收发邮件（无需编译）

azkaban部署在阿里云环境上无法收发邮件,报错:connecttimeout原因是azkaban发送邮件默认使用的是STMP25端口,但是在阿里云上25端口是被禁用的.所以需要将25端口换到465端口采用
香山上的麻雀1008·2020-09-13 19:57

azkaban源码编译安装(解决[Azkaban] Unable to get scheduled flow triggers问题)

1安装Mysqlmysql安装文档有很多这里不详细描述2打包编译azkaban由于azkaban编译需要下载很多依赖JAR，国外镜像比较慢，所以需要修改为国内镜像yum-yinstallgitcd/root
ciqingloveless·2020-09-13 18:15

大数据实操篇 No.8-记一次业务简单的高可用离线计算/批计算

各机器上组件部署及进程运行情况第3章流程设计第4章准备工作4.1建立Hive表4.2建立MySQL表第5章具体步骤5.1生成应用日志5.2Flume采集日志5.3Flume拦截器过滤日志5.4Flume上传数据到HDFS5.5Azkaban
pezynd·2020-09-13 17:35

大数据实操篇 No.7-Azkaban HA高可用集群部署

第1章Azkaban简介Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
pezynd·2020-09-13 17:01

Azkaban源码编译（windows环境下编译）

第1章安装准备1.下载azkaban源码官网：https://azkaban.github.io/downloads.html（笔者下载的是Releases：https://github.com/azkaban
pezynd·2020-09-13 17:29

(Access denied for user 'root'@'slaver1' (using password: YES))

(Accessdeniedforuser'root'@'slaver1'(usingpassword:YES))1、问题描述，启动azkaban的时候报如下所示的错误。
小段大帅·2020-09-13 09:48

大数据系列文章汇总 - 更新到15篇----------IT十年

HBase大数据(六)-ZooKeeper大数据(七)-Flume大数据(八)-Sqoop大数据(九)-Hive大数据(十)-Pig大数据(十一)-Mahout大数据(十二)-Oozie大数据(十三)-Azkaban
iFTY_Rostiute·2020-09-12 23:40

airflow 1.10.1 简述及实例(ssh_script_hive_main_sub)

//www.jianshu.com/p/e878bbc9ead2浅谈调度工具——Airflowhttps://www.jianshu.com/p/4ae1faea733b开源数据流管道-LuigivsAzkabanvsOozi
undergrowth·2020-09-12 12:31

azkaban：Azkaban集群内部调度原理分析

https://cloud.tencent.com/developer/article/1167575
花和尚也有春天·2020-09-11 11:27

KUDU同步数据到Hive报错

KUDU同步数据到Hive报错一：现象Azkaban每晚任务：将KUDU数据写入Hive偶尔出现连接kudu报错：Exceptioninthread“main”java.sql.SQLException
灵魂要吗·2020-09-11 09:59

azkaban任务执行情况检查

azkaban任务执行情况检查密码与ip处自行替换#!
灵魂要吗·2020-09-11 09:59

【Azkaban】之 作业依赖并定时调入hive表（20）

文章目录一、需求二、数据准备（1）`Hive`表三、开发思路四、开发步骤五、结果一、需求现有用户点击行为数据文件，每天产生会上传到hdfs目录，按天区分目录。现在需要每天凌晨两点定时导入Hive表指定分区中，并统计出今日活跃用户数插入指标表中。日志文件clicklog用户点击行为数据，三个字段是用户id,点击时间，访问页面userIdclick_timeindexuid12020-06-2112:
fanfan4569·2020-09-11 08:11

实时计算入门篇-了解storm

周期性批量计算数据、数据展示，相信大家在了解实时计算的时候肯定对离线计算有一定的了解了，比如Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、任务调度等技术（azkaban
uniquewdl·2020-09-11 04:35

大数据学习笔记（六）

一、Azkaban介绍1.1Azkaban是什么Azkaban是由Linkedin开源的一个批量工作流任务调度工具，用于在一个工作流内以一个特定的顺序运行一组工作和流程。
伤心程序员·2020-09-10 22:42

HAdoop生态离线项目

Flume进行调度：crontabshellAzkabanHUE：可视化的notebook，用于排查数据。
zhikanjiani·2020-09-10 22:09

安装篇-MySQL8+Hive3.1.2安装分享

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
ITCoder91·2020-08-28 16:38

Azkaban中的一些坑

我这里用的是two-server模式部署的第一个坑启动坑在启动时我们一般都进入到bin下面去启动,但是azkaban只能在根目录下启动,如果是在bin下面启动会闪退并且在logs日志中会有一个错误2020
Furys·2020-08-25 16:59

搭建DataSphere Studio

DataSphereStudio0.6.0发布，优化一键部署以及Azkaban从必装插件优化为选装插件。如何快速安装使用DataSphereStudioDat
小二来碗面·2020-08-24 19:16

开源调度系统

开源调度系统开源调度系统，觉得不错的几个是-opencronAzkaban、airflow、参考这个：http://www.iteye.com/news/32353
bigbigsman·2020-08-24 19:32

Azkaban执行Sqoop任务

方式一：将sqoop写入Shell脚本#!/bin/bashsource/etc/profilesqoopimport\--connectjdbc:mysql://hadoop001:3306/sales_source\--usernameroot\--password123456\--tablesales_order\--hive-import\--fields-terminated-by'',
懒的执行力度无敌·2020-08-24 17:31

某网站日志分析系统的项目架构

3、使用mapreduce计算框架清洗数据，处理得到点击流模型4、使用hive创建点击流模型表，这样可以使用hql进行更多维度统计5、利用azkaban工
明喆_sama·2020-08-24 16:40

azkaban的web-server启动失败 [Azkaban] plugin path plugins/triggers doesn't exist!

启动azkaban时出现如下问题：但是jps发现server启动了这是什么情况。executor可以正常启动但是浏览器无法访问（https://192.168.1.11:8443）,是什么问题呢？
小周先森·2020-08-24 15:36

大数据平台网站日志分析系统

HadoopMapReduce程序数据仓库技术：基于hadoop的数据仓库Hive数据导出：基于hadoop的sqoop数据导入导出工具数据可视化：定制开发web程序echarts整个过程的流程调度：hadoop生态圈中的azkaban
时光带不走丶年少轻狂·2020-08-24 14:16

dolphinSchedule和azkaban两者调度区别

https://blog.csdn.net/github_39577257/article/details/102783298这篇文章已经很详细了我具体说下使用过程中感受和区别1、haazkaban属于一个
cclovezbf·2020-08-24 13:15

Azkaban使用总结

文章目录安装&配置soloservermode安装&配置twoservermode|multipleexecutormode1.安装azkaban-executor-server2.安装azkaban-web-server
郭建華·2020-08-23 23:22

Azkaban 3.73.0的solo模式的安装【文字】与【视频】教程

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
xkjcf·2020-08-23 21:46

Azkaban安装部署及踩坑记录

零.说明本次部署采用了Azkaban3.81.0版本,Azkaban从3.x开始官方只提供源码包,不再提供编译后的包,需要我们自己编译源码包和编译后的包见本页面附件一.下载源码下载地址:https://
guaren2009·2020-08-23 15:07

Azkaban有依赖关系的.flow文件

3retry.backoff:5000nodes:-name:job_user_stype:commandconfig:command:shuser_s/user_s.sh-name:job_user_s_azkabantype
double_q_y·2020-08-23 10:28

电商数仓项目总结

0.11.0.2，Kafka-manager-1.3.3.22，Sqoop-1.4.6，Mysql，HDFS，Hive-1.2.1，Tez-0.9.1，Presto0.196，yanagishima-18.0，azkaban
老菜啦·2020-08-23 03:53

I、Azkaban-搭建

一、介绍Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies
一种依耐丶从未离开·2020-08-23 02:43

hive综合应用案例（自定义udf、pv分析、sqoop、azkaban、创建定时脚本）

需求：以下是代码实现：第一步：创建表、加载数据createtableaccess_log(ipString,dateString,addressString)ROWFORMATDELIMITEDFIELDSTERMINATEDBY‘\t’LINESTERMINATEDBY‘\n’;LOADDATALOCALINPATH‘/opt/datas/hive-access.log’INTOTABLEacc
leson-xu·2020-08-22 23:18

基于Azkaban的任务定时调度实践

本文由云+社区发表作者：maxluo一、Azkaban介绍Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。
腾讯云加社区·2020-08-22 11:01

黑猴子的家：Centos7 编译 Azkaban 3.59.0

1、官网地址https://azkaban.github.io/2、下载Azkaban3.59源码（1）首页->Downloads（2）ReleasesWeuse‘GithubReleases’forcreatingversionnumbers.Releasetagscanbefoundhere
黑猴子的家·2020-08-22 03:34

编译Azkaban3.9.0

基础环境azkaban下载地址：https://github.com/azkaban/azkaban/releasesgitJDK1.8gradle-5.4下载地址：http://services.gradle.org
浅汐王·2020-08-21 20:52

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜科技·2020-08-20 23:27

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜科技·2020-08-20 23:27

Oozie概览

OOZIE概览[TOC]调度框架：LinuxCrontab，Azkaban，oozie，zeus三款任务调度系统比较简介oozie是一个工作流调度系统工作流的调度是DAG可扩展：一个oozie就是一个mr
小鸡·2020-08-20 22:14

Oozie概览

OOZIE概览[TOC]调度框架：LinuxCrontab，Azkaban，oozie，zeus三款任务调度系统比较简介oozie是一个工作流调度系统工作流的调度是DAG可扩展：一个oozie就是一个mr
小鸡·2020-08-20 22:14

azkaban on kubernetes部署方式 多执行节点支持自动伸缩

使用编译好的azkaban3.84.4版本建立镜像，镜像通过args参数控制启动exe还是webazkaban的配置文件和用户文件引入configmap，方便修改配置默认建立1个mysql，1个exe执行节点
zld_555·2020-08-20 21:14

数据调度平台系统二大种类及其实现方法与流程

开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，zeus等等，此外，还有包括阿里
taskctl·2020-08-20 17:57

数据调度平台系统二大种类及其实现方法与流程

开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，zeus等等，此外，还有包括阿里
taskctl·2020-08-20 17:57

企业级数据仓库:数据仓库概述;核心技术框架,数仓理论,数据通道Hive技术框架,HBase设计,系统调度,关系模式范式,ER图,维度建模,星型/雪花/星座模式,数据采集同步,业务数据埋点,数据仓库规范

课程目标第二章核心技术框架2.1数据仓库周边技术框架2.1.2数据采集DataxSqoopDatax与Sqoop的对比数据采集框架综述2.1.3数据通道KafkaRabbitMQ2.1.4系统调度OozieOozie与Azkaban
DougLeaMrConcurrency·2020-08-20 13:32

调度框架Azkaban快速入门

1.Azkaban概述Azkaban技术产生前景：在大数据分析场景中，以ETL（Extract抽取-Transform交互转换-Load加载）为例，数据的操作包含了如下流程：RDBMS==>Sqoop=
叩丁狼教育·2020-08-20 11:50

python 将多个具有相同表头内容的excel合并到一个多页签的excel中

excel合并成一个多sheet的excel--coding:utf-8--importxlrd,xlsxwriter待合并excelallxls=[“C:\Users\zhudong\Desktop\azkaban
二两芝麻·2020-08-19 18:40

Azkabon

https://blog.csdn.net/qq_37334135/article/details/78359506Azkaban是由Linkedin开源的一个批量工作流任务调度器。
博弈史密斯·2020-08-19 03:54

azkaban执行任务错误，修复MySQL表

问题描述：azkaban执行任务报错azkaban.executor.ExecutorManagerException:Errorwritingjoboffline-xxx-hdfs2hive-m5atazkaban.executor.ExecutionJobDao.uploadExecutableNode
zajbetterme·2020-08-18 12:56

tar.gz包转成rpm包

目标包名不能包含的版本中不能包含“-”在执行打包时报错：[root@isunode005SPECS]#rpmbuild-baazkaban-exec-server.specExecuting(%prep
_小海_·2020-08-18 12:01

大数据调度平台之-Azkaban

一、Azkaban简介二、编译Azkaban&&特性了解2.1、在Azkaban的WebUI界面上操作2.2、运行一个最基本的打印程序2.3、运行JobDependencies2.4、跑一个mapreduce
Spark on yarn·2020-08-18 10:31

azkaban的复杂场景使用以及使用时发现的一些坑！

前言使用教程搭建一个az完成一个复杂的azkaban使用案例，结构图如下任务描述job1：使用az框架传参，打印任务准备开始！job2：依赖于job1，在本地创建一个目录名字叫做inputwc！
威尼斯的星期天·2020-08-18 01:37

Airflow笔记

Airflow已逐渐成为最流行的任务调度框架,加上本身由Python语言编写,对比Azkaban灵活性,可配置性更高Airflow官网配置参数介绍default_args={'owner':'Airflow
灰灰鲁伊·2020-08-16 07:39
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他