【Azkaban】

azkaban的操作指南

前言：最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。
春雨里de太阳·2019-08-03 15:25

Azkaban简介及安装教程

前言：最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强。下面就写个系列文章来记录下azkaban从简介及安装配置再到简单使用的一个过程。
春雨里de太阳·2019-08-03 14:20

在学习hadoop中遇到的问题

错误内容包括mapreduce、hive、flume、azkaban、sqoop、1启动程序报错:19/08/0216:19:12WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
王叫瘦·2019-08-02 16:57

大数据学习笔记之azkaban（一）：azkaban

文章目录一概述1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3各种调度工具特性对比1.4Azkaban与Oozie对比二Azkaban介绍三Azkaban安装部署3.1安装前准备3.2安装azkaban3.2
Leesin Dong·2019-07-28 23:22

Hadoop集群搭建---step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)

Hadoop集群搭建—step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)软件版本：Hive：hive-1.1.0-cdh5.14.0.tar.gzMysql：mysql-5.1.71
myblog_tfq·2019-07-25 12:18

记一次很坑很坑很坑的azkaban的安装过程

(想要快速搭建使用，请下拉，看总结部分)开始了一次很坑的安装记录：1、开始根据https://github.com/azkaban/azkaban/issues?
Lucky小浩·2019-07-19 18:04

azkaban调度SQL代码

1.azkaban上新建一个project登录azkaban后，右上角有个CreateProject的按钮，点解后录入项目信息。
数据分析师手记·2019-07-16 16:07

大数据 - 统计分析平台架构介绍

使用Azkaban任务调度系统中配置Job，对平台上的数据进行ETL操作和分析。将最终产生的结果数据存储到Mysql，redis或elastics中，用作报表展示或者App特定功能的数据来源。
蒙蒙的林先生·2019-07-12 17:35

Hadoop错误之YarnException

在使用azkaban做任务调度时候发现Hadoop错误:头信息为下面内容:19/07/0218:37:38INFOmapreduce.Job:map0%reduce0%19/07/0218:37:38INFOmapreduce.Job
来自偶然的尘土·2019-07-02 19:41

大数据数据仓库视频教程网盘下载-基于大数据体系构建数据仓库（Hive，Flume，Kafka，Azkaban，Oozie，SparkSQL）

大数据数据仓库视频教程网盘下载-基于大数据体系构建数据仓库（Hive，Flume，Kafka，Azkaban，Oozie，SparkSQL）40套大数据云计算高级实战精品，数据分析，数据仓库，数据爬虫，
cjmn1199·2019-06-29 10:14

基于Azkaban的任务定时调度实践

一、Azkaban介绍Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。Azkaban功能和特点：1，任务的依赖处理。
DK_ing·2019-06-27 17:11

工作总结——HiveMySQLServerMode-Mysql元数据库配置

项目中我们就遇到一个很大的问题，Spark-Shell脚本启动时，会调用hive-site.xml配置文件，默认的配置是Derby，在azkaban调度任务时，会发生启动失败的问题，经过
DK_ing·2019-06-20 15:25

Airflow[v1.10]任务调度平台的安装教程

0.背景真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？
buildupchao·2019-06-14 03:00

Azkaban的使用

Azkaban1.Azkaban是什么zkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。
大数据容器·2019-06-09 09:31

Azkaban 系列（四）—— Azkaban Flow 2.0的使用

一、Flow2.0简介1.1Flow2.0的产生Azkaban目前同时支持Flow1.0和Flow2.0，但是官方文档上更推荐使用Flow2.0，因为Flow1.0会在将来的版本被移除。
hei bai ying·2019-06-07 16:40

Azkaban 系列（三）—— Azkaban Flow 1.0 的使用

一、简介Azkaban主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念：Job：你需要执行的调度任务；Flow：一个获取多个Job及它们之间的依赖关系所组成的图表叫做Flow。
hei bai ying·2019-06-07 16:09

Azkaban 系列（二）—— Azkaban 3.x 编译及部署

一、Azkaban源码编译1.1下载并解压Azkaban在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。
hei bai ying·2019-06-07 16:54

Azkaban 系列（一）—— Azkaban 简介

一、Azkaban介绍1.1背景一个完整的大数据分析系统，必然由很多任务单元(如数据收集、数据清洗、数据存储、数据分析等)组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。
hei bai ying·2019-06-07 16:41

Azkaban与阿里云EMR-数据开发对比结果

背景目前我司大数据部门使用的ETL调度工具是ApacheAzkaban，因为该服务会占用独立的机器，因此考虑迁移到阿里云的EMR上，因此在整体迁移之前，我们先做了一下作业配置和工作流调度方面的测试，看看目前
mulangren1988·2019-05-21 17:30

解决 Azkaban Executor 启动后不会自动激活问题

使用Azkaban调度任务时候总是出错2019/05/2112:11:03.158+0800ERROR[ExecutorManager][Azkaban]Rollingbackexecutorassignmentforexecutionid
香山上的麻雀1008·2019-05-21 12:45

大数据技术之azkaban

一、azkaban介绍Azkaban是由Linkedin开源的一个批处理工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
奇怪君996·2019-05-15 17:18

CDH使用azkaban整合sqoop来做数据采集

其实也就是需要整合ods层数据内容如下，非常的简单azkaban整合sqoop来抽取mysql数据到hive中来。
大壮vip·2019-05-15 17:44

Azkaban soloserver

1.安装部署1.下载https://github.com/azkaban/azkaban2.编译下载完成后解压，进入目录，执行如下操作：.
mo_yuanyy·2019-05-15 12:00

Azkaban的介绍、安装与使用

目录1、概述1.1、为什么需要工作流调度器1.2、工作流调度实现方式1.3、常见工作流调度系统1.4、各种调度工具对比1.5、azkaban与oozie对比1.6、azkaban介绍2、azkaban安装部署
剑行极锋·2019-05-12 00:00

Azkaban报错-javax.net.ssl.SSLHandshakeException: Received fatal alert: certificate_unknown

Issue2019-05-09T23:34:22,719WARN[1563401209@qtp-104261836-2]org.mortbay.log-EXCEPTIONjavax.net.ssl.SSLHandshakeException:Receivedfatalalert:certificate_unknownatsun.security.ssl.Alerts.getSSLException
JP-Destiny·2019-05-11 00:47

Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

Issue2019/05/0921:50:07.380+0800ERROR[ExecutorManager][Azkaban]Noactiveexecutorsfound2019/05/0921:50:
JP-Destiny·2019-05-11 00:32

Azkaban报错-SLF4J: Class path contains multiple SLF4J bindings

Issue2019/05/0921:50:04.061+0800ERROR[StdOutErrRedirect][Azkaban]SLF4J:ClasspathcontainsmultipleSLF4Jbindings
JP-Destiny·2019-05-10 23:00

大数据-Azkaban

Azkaban简介Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业。
JP-Destiny·2019-05-04 09:02

大数据任务调度框架oozie项目分享

闲聊一句，我记得当初启动任务调度框架oozie项目的时候，csdn上还没有几篇关于oozie的文档，查阅资料还只能去官网，，作业调度系统的技术选型考虑到基于java语言的Azkaban/oozie以及基于
会飞的牛奶·2019-05-01 15:35

删集群跑路

软件：hadoop2.6，hive2.0，spark1.5，filebeat+flume+kafka+azkaban    公司起初就12台服务器，配置比较低，随着业务发展，数据量增多，入职至今的两年时间里公司做过很多硬件方面的升级
It-Self·2019-04-28 00:00

Azkaban四个应用案例

Azkaban四个应用案例Azkaba内置的任务类型支持command、java案例一（单个job）创建job描述文件#command.jobtype=commandcommand=echo'hello
__元昊__·2019-04-18 15:34

持续改进中——Easy Scheduler 1.0.1版本来了

内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源迭代发布版本–1.0.1，免编译版本下载地址–1.0.1相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban
代立冬·2019-04-17 10:37

黑猴子的家：谈一谈我对 Linux 的了解

Oozie、Hue、Spring、SpringMVC、MyBatis、Maven、Kafka、Redis、Nginx、Git、SVN、Scala、Python、ElasticSearch、Storm、azkaban
黑猴子的家·2019-04-12 14:49

黑猴子的家：谈一谈我对 Linux 的了解

Oozie、Hue、Spring、SpringMVC、MyBatis、Maven、Kafka、Redis、Nginx、Git、SVN、Scala、Python、ElasticSearch、Storm、azkaban
黑猴子的家·2019-04-12 14:00

azkaban使用手册（一）

一.装好azkaban之后的UI界面展示-输入你的用户名和密码登录登录进去的页面（页面很简洁）右上角有个创建project点击＋号，创建你的project填写项目名称和描述–上传项目zip包–这里的flow
Hedianzhj·2019-04-11 18:44

azkaban安装

azkaban安装azkabanweb服务器安装azkaban执行服器安装创建azkaban的数据库创建SSL配置修改时区azkabanweb服务器配置azkaban执行服务器executor配置用户配置启动
jjkang_·2019-04-10 20:38

新手入门大数据，大数据的入门！！！认识大数据

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
数据小二·2019-04-10 18:56

分布式工作流任务调度系统Easy Scheduler正式开源

相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生，在使用这些调度系统中可能会有这样的体验：比如配置工作流任务不
d66380022·2019-04-08 23:55

Azkaban安装(CentOS)

必备软件yuminstallgit-y单机安装步骤gitclonehttps://github.com/azkaban/azkaban.gitcdazkaban;.
光脚码农·2019-04-04 11:26

搭建大数据集群架构Hadoop+Hive+Hbase+Spark+Zookeeper+Phoenix+Sqoop+Flume+Kafka+Azkaban

大数据集群搭建目录概叙41.1引言41.2集群拓扑图51.3整体架构图51.4设备选型61.5版本选择61.6功能分布7集群基础配置72.1修改主机名72.2hosts主机名IP映射文件修改72.3关闭防火墙82.4配置免秘钥SSH82.5Jdk安装82.6Mysql安装8集群组件配置93.1Hadoop配置93.1.1core-site.xml93.1.2hdfs-site.xml93.1.3m
HelloNBA·2019-04-01 16:25

基于Azkaban的任务定时调度实践

本文由云+社区发表作者：maxluo一、Azkaban介绍Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。
腾讯云+社区·2019-03-14 18:00

基于Azkaban的任务定时调度实践

本文由云+社区发表作者：maxluo一、Azkaban介绍Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。
腾讯云加社区·2019-03-14 00:00

BigData-18：Kafka

yarnzookeeper->分布式协调（动物管理员）hive->数据仓库（离线计算/sql）easycodingflume->数据采集sqoop->数据迁移mysql->hdfs/hivehdfs/hive->mysqlAzkaban
feiyanaffection·2019-03-13 15:39

大数据笔记--Azkaban3.50.0搭建教程（采坑笔记）

大数据笔记–Azkaban3.50.0搭建教程（采坑笔记）所需环境服务器一台3.50.0安装包mysql搭建完成下载安装包3.50.0安装包下载通过FTP上传压缩包并修改邮件代码#进入azkaban目录修改
csp1021·2019-02-21 11:06

azkaban的简单案例

一、主界面介绍(1)Projects：创建和显示已存在的工程，所有的flow都属于一个工程。(2)Scheduling：显示定时任务。(3)Executing：显示当前运行的任务。(4)History：显示历史任务。二、创建一个简单工程，包含一个job，以命令的形式打印出"helloworld”。1、创建工程2、新建一个hello.job文件，添加如下内容：#类型为命令形式type=command
bokzmm·2019-02-15 14:51

azkaban流程调度

1.搜集数据upload.job#upload.jobtype=commandcommand=bashupload.shupload.sh#!/bin/bash#setjavaenvexportJAVA_HOME=/soft/jdk/exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libex
一个人一匹马·2019-02-13 17:04

Azkaban介绍

工作流调度器azkaban概述为什么需要工作流调度系统●一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等●各任务单元之间存在时间先后及前后依赖关系
一个人一匹马·2019-01-28 11:47

【开源项目】Azkaban扩展插件azkaban-plugin-jobtype-sql

AzkabanSQLjobtype一、功能说明本项目为Azkaban的JobType扩展插件，实现Azkaban直接调度数据库脚本的Job。
centychen·2019-01-23 22:47

hadoop之安装--------AzKaba------Impala[Hue]-------CDH----------Sqoop------Flum

【Azkaban搭建】---Azkaban3.25.0搭建细则超实用https://www.cnblogs.com/LHWorldBlog/p/9897564.html【Impala篇】---Hue从初始到安装应用
it_liangsir·2019-01-19 19:41

Azkaban集群配置

1、Azkaban下载官方下载地址，gradle项目需要自己编译打包。
cleargy·2019-01-08 10:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他