【Azkaban】

我的第2个开源项目：MyAzkaban-3.0.0

网址：http://git.oschina.net/qiangzigege/MyAzkabanhttp://azkaban.github.io/azkaban/docs/latest为什么要做这个东西？
强子哥哥·2016-04-14 09:00

Azkaban的线程系列 38：ExecutorManagerUpdaterThread

ExecutorManagerUpdaterThread线程如何运行？主要是获取当前运行的flow的状态！相关的几种操作有public static final StringUPDATE_ACTION ="update";  public static final StringSTATUS_ACTION ="status";  public static final StringEXECUTE_A
强子哥哥·2016-04-13 16:00

Azkaban的线程系列 37：QueueProcessor线程的任务处理&executor存活监控

有个线程，AzkabanWebServer-QueueProcessor-Thread.下面分析下这个线程到底干嘛的！！！
强子哥哥·2016-04-13 13:00

Azkaban的线程系列 36：AzkabanWebServer-Cleaner-Thread

此线程 azkaban.executor.ExecutorManager$CleanerThread.run-----------------------------------------------
强子哥哥·2016-04-13 11:00

Azkaban的任务类型分析35：JavaProcessJob的执行

我们知道，在azkaban内部有好几种调度程序，那么一个java程序怎么被执行的呢？
强子哥哥·2016-04-12 20:00

Azkaban的定时调度任务分析34：定时执行下文

下面说线程azkaban.trigger.TriggerManager.TriggerScannerThread是如何运作的1）初始化stopinazkaban.trigger.TriggerManager
强子哥哥·2016-04-12 15:00

Azkaban的定时调度任务分析33：定时执行上文

之前，我们研究了执行1次的任务，但是实际生产环境中，我们可能需要很多个定时调度的需求，所以，接下来，我们来研究定时调度的原理！========================================================================点开这个按钮后，出现新的界面如下：填写自己的数值后，提交Schedule按钮后，观察URL对应的URL===>.POST /sch
强子哥哥·2016-04-12 14:00

Azkaban的Exec Server分析 32：关于提醒邮件发送

=====================================================================================看来需要去管理这个线程azkaban.executor.ExecutorManager
强子哥哥·2016-04-12 13:00

Azkaban的Exec Server分析 31：FlowRunner如何推动Graph的前进

==========================================================================================jdbazkaban.execapp.AzkabanExecutorServer
强子哥哥·2016-04-12 11:00

Azkaban的Exec Server分析 30：JobRunner如何构造一个Job大揭秘

重点来了，JobRunner对象是有了，下面就真的要生成一个Job了，如何生成？本节揭秘！===========================================================================================StringjobType =jobProps.getString("type");ClassexecutorClass =pl
强子哥哥·2016-04-11 21:00

Azkaban的Exec Server分析 29：JobRunner的真正执行过程(前奏)

==========================================================================================jdbazkaban.execapp.AzkabanExecutorServer
强子哥哥·2016-04-11 19:00

一条运维短信引起的思考

恰好看到azkaban计算可用内存代码，留存一份，代码如下：private static void readMemoryInfoFile(){    BufferedReaderbr =null;    
强子哥哥·2016-04-11 13:00

Azkaban的Web Server源码探究系列23: 一次性执行execute的正式提交

下面正式提交Stringmessage = executorManager.submitExecutableFlow(exflow,user.getUserId());那么，到底executorManager是如何处理的呢？=================================================================================stopin 
强子哥哥·2016-04-10 13:00

Azkaban的Web Server源码探究系列22: 一次性执行execute的提交准备

通过抓包，我们得知所以需要研究 stopin azkaban.webapp.servlet.ExecutorServlet.doGetstopin azkaban.webapp.servlet.ExecutorServlet.ajaxAttemptExecuteFlowstopin
强子哥哥·2016-04-10 11:00

Azkaban的Web Server源码探究系列21: Flow执行前的准备工作

之前说到的上传flow,到最后都转化为数据库里的若干记录，当然是多个表的数据一起来全方位阐述这个你上传的flow.那么，flow到底如何执行呢？今天就开始研究flow的执行过程！===================================================================GET/manager?project=xxx&ajax=fetchflowgraph&
强子哥哥·2016-04-10 00:00

Azkaban的Web Server源码探究系列17：Creating Flows

AjobisaprocessyouwanttoruninAzkaban.Jobscanbesetuptobedependentonotherjobs.Thegraphcreatedbyasetofjobsandtheirdependenciesarewhatmakeupaflow
强子哥哥·2016-04-09 09:00

Azkaban的Web Server源码探究系列16：跳转Project

上节说完了创建，这下来说跳转到Project.======================================================================所以，还是得用/manager对应的servlet来执行，下面稍微跟踪一下：=====================================================================
强子哥哥·2016-04-09 08:00

Azkaban的Web Server源码探究系列15：使用过程中几个需注意的配置&3.0中丢失的文件

1） azkaban.use.multiple.executors=true2） jetty.use.ssl=false3）velocity.dev.mode=false4）creator.default.proxy
强子哥哥·2016-04-09 08:00

Azkaban的Web Server源码探究系列14：创建Project

创建的图为：通过抓包，可以分析出路径为： POST /manager HTTP/1.1所以，需要分析root.addServlet(new ServletHolder(new ProjectManagerServlet()),"/manager");分析ProjectManagerServlet====================================================
强子哥哥·2016-04-09 01:00

Azkaban的Web Server源码探究系列11: 登陆对应的servlet解析

上一节，顺利把登陆界面给调试出来了。那么，接下来，自然来讲解登陆过程。====================================================首先，需要抓包来解决登陆的URL。看来还是/,只不过换成了post,所以需要去研究doPost的过程。==============================================================
强子哥哥·2016-04-08 21:00

Azkaban的Web Server源码探究系列10 : /对应的servlet解析

如果请求的URI是"/",对应的servlet如何响应？===================================================================ServletHolderindexRedirect =new ServletHolder(new IndexRedirectServlet(defaultServletPath));root.addServl
强子哥哥·2016-04-08 14:00

Azkaban的Web Server源码探究系列9: Servlet引擎初始化

下面就是具体的路径映射与具体的servlet对应了。=============================================================Contextroot =new Context(server,"/",Context.SESSIONS);root.setMaxFormContentSize(MAX_FORM_CONTENT_SIZE);Stringdef
强子哥哥·2016-04-08 09:00

Azkaban的Web Server源码探究系列5: XmlUserManager权限数据的初始化

上节讲到XmlUserManager的代码块，放在这里讲解private void parseXMLFile(){//看到这里了    Filefile =new File(xmlPath);//找到文件    if (!file.exists()){//校验是否存在      throw new IllegalArgumentException("Userxmlfile" +xmlPath   
强子哥哥·2016-04-06 20:00

Azkaban的Web Server源码探究系列4: Azkaban Server初始化

上一节做了准备工作，现在开始初始化Azkaban的WebServer.
强子哥哥·2016-04-06 17:00

Azkaban的Web Server源码探究系列3: Jetty Server初始化

上一节，主要讲了配置方面，接下来azkaban就开始启动server.talkischeap,showthecode!
强子哥哥·2016-04-06 12:00

Azkaban的Web Server源码探究系列2: 配置文件读取过程分析

上一节，我们认真的把debug环境搭建好了，下面开始慢慢的仔细的把代码研究下。系统一开始就是进行配置文件读取，代码如下：public static PropsloadProps(String[]args,OptionParserparser){    ;  //配置初始化    OptionSpecconfigDirectory =        parser            .accept
强子哥哥·2016-04-06 12:00

Azkaban的源码编译

官方文档: http://azkaban.github.io/azkaban/docs/latest/
强子哥哥·2016-04-05 22:00

使用Azkaban调度Spark任务

Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。
breeze_lsw·2016-03-08 22:08

使用Azkaban调度Spark任务

Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。
lsshlsw·2016-03-08 22:00

azkaban的最简版搭建

 官网：http://azkaban.github.io/1、下载安装包azkaban-web-server-2.5.0.tar.gzazkaban-executor-server-2.5.0.tar.gz2
bbaiggey·2016-03-03 16:00

hadoop 集群调度 Azkaban2搭建

注:这里的服务器由于用到SSL,需要https协议,别打成http安装配置:-----https://github.com/bbaiggey/AzkabanInstall介绍Azkaban是由Linkedin
奔跑-起点·2016-03-01 20:22

hadoop 集群调度 Azkaban2搭建

注:这里的服务器由于用到SSL,需要https协议,别打成http安装配置:-----https://github.com/bbaiggey/AzkabanInstall介绍Azkaban是由Linkedin
bbaiggey·2016-03-01 20:00

azkaban提交job出错记录

在UE中编写一个test.sql，用azkaban启动，报错18-02-2016 23:09:17 CST hivef ERROR - FAILED: ParseException line 1:0 character
blackcoder·2016-02-19 16:09

azkaban提交job出错记录

在UE中编写一个test.sql，用azkaban启动，报错18-02-2016 23:09:17 CST hivef ERROR - FAILED: ParseException line 1:0 character
blackcoder·2016-02-19 16:09

Hadoop - Azkaban 作业调度

1.概述在调度Hadoop的相关作业时，有以下几种方式：基于Linux系统级别的Crontab。Java应用级别的Quartz。第三方的调度系统。自行开发Hadoop应用调度系统。对于前两种，使用Crontab和Quartz是基本可以满足业务需求，但有其弊端。在Job数量庞大的情况下，Crontab脚本的编写，变得异常复杂。其调度的过程也不能透明化，让管理变得困难。Quartz虽然不用编写脚本，实
哥不是小萝莉·2016-02-15 18:00

Hadoop - Azkaban 作业调度

1.概述在调度Hadoop的相关作业时，有以下几种方式：基于Linux系统级别的Crontab。Java应用级别的 Quartz。第三方的调度系统。自行开发Hadoop应用调度系统。对于前两种，使用Crontab和 Quartz是基本可以满足业务需求，但有其弊端。在Job数量庞大的情况下，Crontab脚本的编写，变得异常复杂。其调度的过程也不能透明化，让管理变得困难。Quartz虽然不用编写脚本
哥不是小萝莉·2016-02-15 18:00

azkaban2.5 详细配置以及使用方式

azkaban支持shell、java、mapreduce以及hive的工作流调度，在对这些不同类型任务调度之前需要配置所对应的插件；azkaban整体分为两部分azkabanexecutorserver
小石头_stone·2016-02-01 10:00

大数据系列文章汇总 - 更新到15篇

HBase大数据(六)-ZooKeeper大数据(七)-Flume大数据(八)-Sqoop大数据(九)-Hive大数据(十)-Pig大数据(十一)-Mahout大数据(十二)-Oozie大数据(十三)-Azkaban
IT十年·2016-01-31 20:30

大数据系列文章汇总 - 更新到15篇

HBase大数据(六)-ZooKeeper大数据(七)-Flume大数据(八)-Sqoop大数据(九)-Hive大数据(十)-Pig大数据(十一)-Mahout大数据(十二)-Oozie大数据(十三)-Azkaban
matthewei6·2016-01-31 20:00

azkaban web-server源码解析

注：请先看azkaban官方文档，然后安装好azkaban-web-server并熟悉使用流程后，再往下看一、概述azkaban主要用于hadoop相关job任务的调度，但也可以应用任何需要调度管理的任务
gstc110·2016-01-27 20:00

大数据(十三) - Azkaban

Azkaban基本架构Azkaban使用方式    RESTAPI    WEBUI        用户权限管理        提交作业流        查看作业流运行进度Azkaban作业流表达方式  
matthewei6·2016-01-22 13:00

#研发解决方案#分布式并行计算调度和管理系统Summoner

郑昀创建于2015/11/10最后更新于2015/11/12关键词：佣金计算、定时任务、数据抽取、数据清洗、数据计算、Java、Redis、MySQL、Zookeeper、azkaban2、oozie、
旁观者-郑昀·2016-01-08 10:00

#研发解决方案#分布式并行计算调度和管理系统Summoner

郑昀创建于2015/11/10最后更新于2015/11/12关键词：佣金计算、定时任务、数据抽取、数据清洗、数据计算、Java、Redis、MySQL、Zookeeper、azkaban2、oozie、
旁观者·2016-01-08 10:00

Azkaban2.5.0安装小记

转载请注明出处：http://www.cnblogs.com/blazer/p/4962143.html CentOs6.464bitAzkaban2.5.0 无力吐槽一下，本来想弄个中文版的web，看看有啥语言包
BlazerHe·2015-11-13 14:00

Azkaban2.5.0安装小记

转载请注明出处：http://www.cnblogs.com/blazer/p/4962143.html CentOs6.464bitAzkaban2.5.0 无力吐槽一下，本来想弄个中文版的web，看看有啥语言包
BlazerHe·2015-11-13 14:00

Azkaban2官方配置文档

最近工作实在是太忙了，我把之前翻译的官方的文档先放上来吧，希望对大家有所帮助~ 介绍 Azkaban2新功能： 1、Web UI 2、简单工作流上传 3、更容易设置job的依赖关系 4、调度工作流
·2015-11-07 13:04

Azkaban2配置过程

Azkaban2配置过程 azkaban2所需环境：jdk1.6、ant、jetty、hadoop、ssl证书 通过http://azkaban.github.io/azkaban2/downloads.html
·2015-11-07 12:59

Azkaban2官方配置文档

最近工作实在是太忙了，我把之前翻译的官方的文档先放上来吧，希望对大家有所帮助~ 介绍 Azkaban2新功能： 1、Web UI 2、简单工作流上传 3、更容易设置job的依赖关系 4、调度工作流
·2015-11-06 07:28

Azkaban2配置过程

Azkaban2配置过程 azkaban2所需环境：jdk1.6、ant、jetty、hadoop、ssl证书 通过http://azkaban.github.io/azkaban2/downloads.html
·2015-11-06 07:24

hadoop工作流引擎之azkaban

介绍 Azkaban是twitter出的一个任务调度系统，操作比Oozie要简单很多而且非常直观，提供的功能比较简单。
·2015-11-01 10:23
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他