Oozie

Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - OpenLDAP的整合

(当然，你也需要部署它们依赖的HDFS,Hive,Oozie,YARN等服务)角色分布OpenLDAPS
大数据之心·2020-04-02 18:05

Oozie-Service-CallableQueueService

Oozie使用CallableQueueService来异步执行操作；特点：Callablescanbequeuedforimmediateexecutionorfordelayedexecution(
PunyGod·2020-03-29 12:29

Oozie WorkFlow中sqoop的命令file案例

复制样例[beifeng@hadoop-senioroozie-4.0.0-cdh5.3.6]$cp-rexamples/apps/sqoopoozie-apps/样例重新命令mvsqoopsqoop-import
明明德撩码·2020-03-29 09:59

Hadoop数据分析平台实战——180Oozie工作流使用介绍

离线数据分析平台实战——180Oozie工作流使用介绍Oozie工作流介绍Oozie的四大组件服务分别是:workflow,coordinator,bundle和sla。
Albert陈凯·2020-03-29 07:16

安装Linux虚拟机详细步骤

刚好借着这次机会把Hadoop生态所需的各种环境从头再次安装一回，包括Linux虚拟机、Hadoop、Hdfs、Zookeeper、Hbase、Hive、Flume、Oozie、Spark、Kafka、
喵感数据·2020-03-28 18:08

Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - 传输层加密配置 - Hadoop 组件传输层加密

Hadoop服务在TLS/SSL加密过程中充当的角色HDFS,YARN服务端、客户端；HBase服务端；Oozie服务端；HUE是以上所有服务的客户端；服务端进程在启动的时候会加载密钥库JKS，当客户端与其通信时
大数据之心·2020-03-26 01:13

好记性不如烂笔头!

http://www.cnblogs.com/zlslch/Azkaban（第三方工作流）与Oozie（Hadoop内置工作流）、hadoop工作流（概念学习和搭建系列）(17)BigData各子项目集群的详细启动步骤
Albert陈凯·2020-03-25 22:39

Airflow

ToBeContinued...BriefIntrotoAirflowAirflowisaplatformtoprogrammaticallyauthor,scheduleandmonitorworkflowslikeOoziewhichwasmorefamousinworkflowindustry.Airflowisaincubatingprojectwhichisverynew.Butthep
YouzuDevOps·2020-03-23 04:49

Oozie Source Code Main

最近想借着调度系统这个项目来看看业界出色的调度系统的源码，如Oozie，Airflow目录如下，OverviewOozie是雅虎开源出来的一个出色的工作流，支持很多jobType，spark，email
chenfh5·2020-03-21 10:20

about云论坛版块--大数据常用框架和范围

NoSQL型数据库MapReduceHDFSHBaseStormHadoop2|YARNFlume*(1)*Hive*(5)*ZooKeeperCDHPigSqoopKafkaSparkOoziescalaSolr
Albert陈凯·2020-03-20 11:05

大数据时代你不得不了解的大数据处理工具

Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字(如Oozie，ZooKeeper、Flume)。
Alukar·2020-03-19 03:57

名词功能对照

Zookeeper面向分布式应用的协调服务Hue可视化hadoop应用用户接口框架和SDKHume高可靠可配置的数据流集合Sqoop利用集成到Hadoop的数据库和数据仓库Oozie针对互相依赖hadoop
zcwfeng·2020-03-19 00:46

数据天生就是流式的

现在依然很多人使用Azkaban/Oozie等工具衔接各个系统，通过外力让数据进行流转。而随着流式计算慢慢成熟与稳定，数据必然如河水一般，天生就是流式的。
祝威廉·2020-03-14 08:16

azkaban工作流调度

简单的任务调度可以用linux的crontab来定义，复杂的调度可以用oozie、azkaban。
pamperxg·2020-03-09 11:09

Oozie分布式工作流——流控制

本文是在学习oozie时看到的一篇不错的文章，转自博客园-xingoo的一篇文章。致谢原作者。
小孩真笨·2020-03-08 07:02

Oozie框架基础

*Oozie框架基础官方文档地址：http://oozie.apache.org/docs/4.0.0/DG_QuickStart.html除Oozie之外，类似的框架还有：**Zeus：https:/
Z尽际·2020-03-01 01:05

使用 DolphinScheduler 调度 Kylin 构建

为了让整个工作流自动化起来，需要结合一些任务调度平台，如Oozie，Linuxcrontab等。本文将介绍如何使
代立冬·2020-02-29 23:19

Oozie：安装部署（hadoop集群）

一、将Oozie安装包上传到Master节点并解压$sudotar-zxvfoozie-4.1.0-cdh5.14.0.tar.gz-C/opt/cludera/$cd/opt/cludera/$sudomvoozie
chengruru·2020-02-29 00:49

oozie简单搭建

oozie搭建下载http://archive-primary.cloudera.com/cdh5/cdh/5/全部采用cdh版本搭建oozie-4.1.0-cdh5.4.11.tar.gz安装安装环境
699b979fc4da·2020-02-25 10:52

Hadoop数据分析平台实战——170Oozie介绍及环境搭建

离线数据分析平台实战——170Oozie介绍及环境搭建Oozie介绍Oozie是一个工作流引擎服务器,用于运行HadoopMap/Reduce和Hive等任务工作流.同时Oozie还是一个JavaWeb
Albert陈凯·2020-02-24 13:04

WorkFlow中Sqoop Action使用案例错误总结

表示是yarn的运行地址及端口号oozieAppsRoot地址错误表示在HDFS上oozie运行sqoop流程job的目录。目录前后把反斜杠都去掉。
李治辉撩码·2020-02-23 23:27

CallLog项目总结

hive+oozie实现的周期任务调度。3项目讲解1项目模块介
艾剪疏·2020-02-23 15:34

Oozie-Workflow 组件

概念定义Action:具体的可执行任务（比如MR、Hive、Pig和shell命令）Workflow:任务的有向无环图，DAGWorkflowDefinition:任务流定义WorkflowJob:任务流实例控制节点......demo......开始控制节点......demo...结束控制节点...[MESSAGE-TO-LOG]...demo...Inputunavailable...杀死控
PunyGod·2020-02-22 22:14

Oozie Kerberos环境下提交Spark-Sql任务

spark-sqlOozie暂时没有像hiveAction那样调用HiveCli实现类似的原生Action，sparkAction实现的是基于spark-submit提交自定义的Jar包，实现Spark-Sql
拔刺的少年·2020-02-22 09:26

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

调度工具横评最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只
数澜科技·2020-02-22 09:40

Oozie-Coordinator组件

CoordinatorOverview用户在数据处理的过程中可能会使用到map-reduce,hadoop-streaming,hdfs以及Pig任务，这些多个任务可以被组合成为一个任务流。一般情况下，任务流运行可能依赖于时间周期、数据依赖、又或者是某些特定的事件条件。任务流和任务流之间也存在着某种关系，特别是不同频率之间的任务流，Coordinator组件作用就是允许用户来定义任务流的执行周期，
PunyGod·2020-02-21 03:27

Oozie-CoordinatorXCommand

CoordinatorXCommand是对Coordinator组件操作命令的封装类，对coord的命令我们整理为：diagram3.pngCoordJobXCommand/*(non-Javadoc)*@seeorg.apache.oozie.command.XCommand
PunyGod·2020-02-19 19:17

208个最新最全大数据/人工智能专有名词术语 中英对照A

ApacheOozie：在任何编
Albert陈凯·2020-02-15 00:37

Hadoop家族学习路线图

Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie
dodonet·2020-02-07 20:57

Ambari下安装oozieUI界面无法访问问题

前言:其他集群管理工具安装oozie和手动编译安装oozie,关于oozie的UI界面无法访问的问题,大致和该方法类似.找到下面4步骤里的视图显示的目录,有一个ext-2.2软链指向的路径lrwxrwxrwx1ooziehadoop41Dec122018ext
鲁边·2020-01-16 20:00

Oozie任务调度框架详解及使用简介(一)

摘要:个人最近一段时间一直在使用oozie,从刚开始的各种别扭到现在越来越觉得有意思的情况下,想整理一下关于oozie的认知,整理出来一个oozie系列,本来市面上关于oozie的资料就比较少,希望写完后能形成自己对
鲁边·2020-01-14 23:00

Sqoop框架基础

Sqoop框架基础本节我们主要需要了解的是大数据的一些协作框架，也是属于Hadoop生态系统或周边的内容，比如：**数据转换工具：Sqoop**文件收集库框架：Flume**任务调度框架：Oozie**
Z尽际·2020-01-04 05:10

Oozie-Service-ActionCheckerService

功能：定期去检查action的状态，包含coord的和wf的；/***{@linkActionCheckRunnable}istherunnablewhichisscheduledtorunand*queueActionchecks.*/staticclassActionCheckRunnableimplementsRunnable{privateintactionCheckDelay;priva
PunyGod·2020-01-03 02:14

airflow的使用方法

类似产品比较系统介绍ApacheOozie使用XML配置,Oozie任务的资源文件都必须存放在HDFS上.配置不方便同时也只能用于Hadoop.LinkedinAzkabanweb界面尤其很赞,使用javaproperties
lao男孩·2020-01-01 18:33

Oozie案例运行MapReduced Workflow

解压oozie-examples.tar.gz[beifeng@hadoop-senioroozie-4.0.0-cdh5.3.6]$tar-zxvfoozie-examples.tar.gz上传ExamplesTheexamples
李治辉撩码·2019-12-29 16:15

Oozie4.2升级问题排查记

问题Review因为oozie4.2版本修复了4.1版本的rerun的bug，而且考虑升级成本不大，so在某一天的下午启动了升级，升级步骤参看Oozie4.2安装笔记重启oozieserver，打开ooziewebui
UniMan·2019-12-28 13:40

源码阅读

1、找源码的source源码去github上去找比如查找oozieimage.png进入项目，找相应的版本，如下图所示image.png下载源码包或者使用Git导入源码2、编译源码下载下源码包来，直接使用
早点起床晒太阳·2019-12-23 02:39

10. Sqoop介绍

最为常见的是以下几个：数据转换工具Sqoop文件收集库框架Flume任务调度框架Oozie大数据web工具HueFlume，抽取系统日志文件进入HDFS。
奉先·2019-12-20 22:53

hue/ oozie/ sqoop/ kafka/ zookeeper/ flume 简介及cdh安装简介

hue：HadoopUserExperienceHue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob等等。Hue所支持的功能
时待吾·2019-12-16 11:15

自动化管理工具Rundeck

另外有类似作用的有cdh的oozie，但个人觉得这个用起来来还方便简洁些。特性：
BIGUFO·2019-12-15 20:54

六、Azkaban DE版改造功能介绍

在对比Oozie、Airflow等流行的任务调度框架后，我们决定对Azkaban进行二次开发，以满足我们各种各样的功能要求。
yannhuang·2019-12-06 21:39

Oozie-TransitionXCommand

从之前的组件可以看到，任务是有状态机的概念的，准备，开始，运行中，失败结束等等，所以对任务进行操作的命令同时需要处理状态机的变化，oozie处理任务的命令都需要继承TransitionXCommand这个抽象类
PunyGod·2019-12-01 21:44

Oozie 介绍

Hadoop调度框架LinuxCrontabAzkabanhttps://azkaban.github.io/Ooziehttp://oozie.apache.org/Zeushttps://github.com
志辉聊码·2019-11-30 22:21

[2019大数据视频教程]小白3天速成调度框架oozie（源码+视频+笔记）

[2019大数据视频教程]小白3天速成调度框架oozie（源码+视频+笔记）1、什么是OozieApacheOozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。
wx5da18b5c4b01e·2019-11-25 15:03

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜科技·2019-11-22 11:41

ETL调度系统及常见工具对比：Azkaban、Oozie、数栖云

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜·2019-11-21 15:09

从头开始 手把手 oozie 安装配置 with an example

安装前准备安装hadoop，可参考文章：https://blog.csdn.net/lucylove3943/article/details/80589422不需要pig,hive,spark等等。就follow这两篇blog，一切搞定。一些必要的安装工作Maven安装进入maven下载页面：https://maven.apache.org/download.cgi，下载maven我是把下载的文件
Fiona_ll·2019-11-20 03:27

Oozie-WorkflowXCommand

WorkflowXCommand是对任务流wf操作命令的封装类，对wf的命令我们整理为：diagram2.pngWorkflowActionInfoXCommand@OverrideprotectedWorkflowActionBeanexecute()throwsCommandException{JPAServicejpaService=Services.get().get(JPAService
PunyGod·2019-11-07 15:26

oozie使用(修改时区)

oozie所用时区oozie规定只使用UTC时间，也就是说，我们在做定时任务调度的时候，所使用的
wangliang938·2019-11-06 07:05

关于大数据的一些基本常识整理

Yarn百度百科Hive百度百科HBase百度百科Hadoop可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala百度百科Cloudera百度百科Oozie
司小幽·2019-10-30 23:38
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他