oozie

hadoop上的工作流调度——oozie

Hadoop上的工作流调度Oozie是一个管理ApacheHadoop任务的工作流调度系统。Oozie工作流任务是有向无环图。
chenKFKevin·2017-05-15 19:00

oozie工作流相关入门整理

Oozie支持工作流，其定义通过将多个HadoopJob的定义按照一定的顺序组织起来，然后作为一个整体按照既定的路径运行。
clamaa·2017-04-11 09:53

大数据、云计算系统高级架构师课程学习路线图

大数据之Linux+大数据开发篇JavaLinux基础Shell编程Hadoop2.xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume/Oozieo大数据WEB工具HueHBaseStormStormScalaSparkSpark
梦想成真那天·2017-04-06 15:43

大数据、云计算系统高级架构师课程学习路线图

大数据之Linux+大数据开发篇JavaLinux基础Shell编程Hadoop2.xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume/Oozieo大数据WEB工具HueHBaseStormStormScalaSparkSpark
u012164361·2017-04-06 15:00

Oozie介绍

）LinuxCrontab：Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个执行计划：012***hive-fxxx.sql（2）Azkaban：（3）Oozie
奉先·2017-03-29 10:42

Hadoop家族学习路线图

Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie
csy_insist·2017-03-24 13:27

通过hue提交oozie定时任务

原文链接：http://www.cnblogs.com/mr-ivan/p/6593550.htmlOozie是什么？
dicong5851·2017-03-21 12:00

[tools]有没有好用的大数据ETL工具

1、hadoop的oozie和azkaban用了下感觉更适合小型任务的，但在数据仓库建设中感觉会十分麻烦。2、ETLAutomation、kettle等适合于oracle等，不太适合hadoop
葡萄喃喃呓语·2017-02-15 23:34

oozie定时调度的配置说明第一篇

如果需要做一个循环的定时调度，基本的需要三个文件job.properties记录了job的属性workflow.xml使用hPDL定义任务的流程和分支coordinator.xml主要用来做workflow的触发条件，来做定时触发，也可以组合多个workflow的运行顺序现在讲解一个简单的demo，对ooize进行说明讲解job.properties该文件主要是设置一些参数信息和公共变量#集群参数
oracle8090·2017-01-22 09:27

Hue、Hive、Sentry、Airflow、Oozie

，在Hue上浏览文件和数据，使用Hue可以对HDFS做哪些操作，大数据授权管理的背景，Hue使用的授权管理的组件Sentry，介绍了Sentry的组件和架构，Sentry的特点，工作流的概念，开源工具Oozie
蜗牛爱上星星·2017-01-04 17:35

Oozie Spark on YARN requirement failed

软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3；Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3；Hadoop：hadoop2.6.0-cdh5.7.3
fansy1990·2016-12-24 10:00

Oozie分布式任务的工作流——Spark篇

Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。
xingoo·2016-12-23 23:00

Oozie分布式任务的工作流——Sqoop篇

Sqoop的使用应该是Oozie里面最常用的了，因为很多BI数据分析都是基于业务数据库来做的，因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL，
xiaoL_clo·2016-12-21 14:54

Hadoop可视化分析利器之Hue

和文件浏览2，通过web调试和开发hive以及数据结果展示3，查询solr和结果展示，报表生成4，通过web调试和开发impala交互式SQLQuery5，spark调试和开发6，Pig开发和调试7，oozie
xiaoL_clo·2016-12-20 09:54

Oozie安装

安装基础环境Maven-3.9.0Hadoop-2.7.1Server安装解压oozie-4.3.0.tar.gz将oozie的安装包解压到/usr/local目录下：/usr/local/oozie-
Captain_Karen·2016-12-15 10:11

大数据之Oozie——源码分析（一）程序入口

工作中发现在oozie中使用sqoop与在shell中直接调度sqoop性能上有很大的差异。为了更深入的探索其中的缘由，开始了oozie的源码分析之路。
xingoo·2016-12-11 00:00

大数据之Oozie——源码分析（一）程序入口

工作中发现在oozie中使用sqoop与在shell中直接调度sqoop性能上有很大的差异。为了更深入的探索其中的缘由，开始了oozie的源码分析之路。
xingoo·2016-12-11 00:00

hadoop oozie sqoop --奇葩问题汇总二~

hadoopooziesqoop--奇葩问题汇总二~问题1：sqoop修改源码编译打包后如何配合oozie使用？
fantasy-java·2016-12-09 13:00

oozie+sqoop+hive 奇葩问题汇总

oozie+sqoop+hive奇葩问题汇总错误1：JA009:UnknownrpckindinrpcheaderRPC_WRITABLE解决：如果采用hadoop2xx，oozie的war包打入了mr1
fantasy-java·2016-12-06 17:00

manager大数据架构

大数据集群架构大概分为3层1、管理层（也就是所谓的manager界面），这一层主要是对集群服务的管理（比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper
chj_xc·2016-12-01 14:51

Oozie_示例

Oozie官方示例解压oozie-examples.tar.gz将examples/上传到HDFS家目录$bin/hdfsdfs-put/opt/cdh-5.6.3/oozie-4.0.0-cdh5.3.6
weixin_30881367·2016-11-24 13:00

大数据云计算学习路线

、云计算系统顶级架构师课程学习路线图大数据之Linux+大数据开发篇JavaLinux基础Shell编程Hadoop2.xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume/Oozie
雪飞静·2016-10-25 21:10

大数据云计算学习路线

云计算系统顶级架构师课程学习路线图大数据之Linux+大数据开发篇Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗Hive Sqoop Flume/Oozie
basycia·2016-10-25 21:00

oozie server系统时钟偏差导致sqoop报错

使用oozie通过sqoop导数报错如下FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.SqoopMain],main()threwexception
dviewer·2016-10-13 20:09

Basics of Oozie and Oozie SHELL action

OurOozieTutorialswillcovermostoftheavailableworkflowactionswithandwithoutKerberosauthentication.Let’shavealookatsomebasicconceptsofOozie.WhatisOozie
dviewer·2016-10-10 16:18

oozie调度sqoop

oozie调度sqoopoozie版本4.2.0sqoop版本1.4.6调用方式：restfulAPI方式调用oozie然后触发sqoopshell命令URL：http://192.168.0.201:
fantasy-java·2016-10-10 14:00

sqoop增量导入问题

一.sqoop支持的两种增量导入1.根据自增的id号2.根据updateTime这样增量更新会遇到一个数据重复的问题，比如我们每天增量更新昨天的数据（可以用cron或者oozie）都会把updateTime
lijie_cq·2016-10-09 09:34

【转】oozie安装和自带示例的使用

oozie安装【转】http://www.tuicool.com/articles/qUVNJnoozie自带示例的使用【转】http://blog.csdn.net/zhu_xun/article/details
weixin_34326429·2016-09-30 14:00

oozie4.2.0配置运行

oozie4.2.0配置运行1:发布包生成后，拷贝$OOZIE_HOME/distor/target/oozie-4.2.0-distro.tar.gz至任意目录解压缩2:进入oozie-4.2.0/conf
fantasy-java·2016-09-21 18:00

oozie4.2.0安装

oozie4.2.0安装1：下载http://oozie.apache.org/2：解压缩oozie-4.2.0.tar.gz3：cd进oozie-4.2.0根目录4: vimpom.xml --->查找
fantasy-java·2016-09-21 13:00

一篇详细介绍Hadoop系统组成部分及其功能的文章

Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
langzi7758521·2016-09-12 14:15

[Hive基础]-- 编写hive udf和使用hive udf：hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数

开发环境：jdk1.7+idea16+hive-1.1.0使用udf的生产环境：cdh5.8.0+hive-1.1.01、导入hive的所有相关jar包或者使用maven引入CDH相关包：4.0.0com.ennhive-udf1.0-SNAPSHOTUTF-8UTF-81.71.1.0-cdh5.8.01.71.7UTF-8clouderahttps://repository.cloudera.
highfei2011·2016-09-03 21:01

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（六）

六、Hue数据可视化实例    本节先用Impala、DB查询示例说明Hue的数据查询和可视化功能，然后交互式地建立一个定期执行销售订单示例ETL任务的工作流，说明在Hue里是如何操作Oozie工作流引擎的
wzy0623·2016-08-31 16:00

Cloudera Manager 中Oozie 配置HIVE workflow

参考博客地址:http://shiyanjun.cn/archives/664.html前提是你的hive和你的oozie都已经配置好了。
河南骏·2016-08-24 15:50

《关于大数据的一些基本常识整理》

Yarn百度百科Hive百度百科HBase百度百科Hadoop可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala百度百科Cloudera百度百科Oozie
司小幽·2016-08-18 13:43

《关于大数据的一些基本常识整理》

Yarn百度百科Hive百度百科HBase百度百科Hadoop可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala百度百科Cloudera百度百科Oozie
BlackEnn·2016-08-18 13:00

oozie安装部署在hadoop2.50.0-CDH5.3.6

最近在这几天在搞伪分布式安装hue,在安装oozie的时候总是启动不了web界面，花了很长时间搞定，下面是安装oozie的步骤总结一下：安装环境：centOS6.4JavaJDK1.7Mavenhadoop
河南骏·2016-08-11 17:18

为什么cdh5.3.6 oozie 4.0无法连接 hadoop ha，认不到share lib？

安装oozie有些问题，按照教程执行以下命令导入ooziesharelibsudo-uoozie/usr/lib/oozie/bin/oozie-setup.shsharelibcreate-fshdfs
河南骏·2016-08-10 10:05

[Sqoop基础]-- 本地执行sqoop和oozie上执行sqoop命令需要注意

-------------------------------------------本地sqoop命令，需要修改为'\N'、并且添加sqoop前缀-------------------------------------------#采购订单sqoopexport--connectjdbc:mysql://192.168.1.109/testtests?characterEncoding=utf
highfei2011·2016-08-07 16:53

Azkaban调研

Azkaban调研在作业设计器中，实用哪种作业工作流的引擎是最主要的，现在对Azkaban和Oozie进行调研。
一头大菜鸟·2016-08-07 15:36

cloudera manager5.7.0中编译oozie的hive workflow一直heart beat 问题总结

这个问题折腾了很久，现在还是有点困惑，废话少说，先把我趟的KENG说一下：1、修改/tmp文件的权限------->sudochmoda+wrx/tmp2、把mysql的驱动jar包放到hdfs上3、把hive-site.xml(一般在/opt/cm-5.7.0/run/cloudera-scm-agent/process/64-hue-HUE_SERVER/hive-conf/hive-site
河南骏·2016-08-04 18:16

crontab+shell 作业流程调度

今天我们在丰富下这些伪代码http://blog.csdn.net/haohaixingyun/article/details/51821444说明，在实际生产环境中，可能会部署一些成熟的作业流程调度引擎OozieorAzkaban
秉寒CHO·2016-07-19 23:52

Hadoop家族学习路线图

Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie
_Mr_Computer_·2016-07-13 17:23

CDH调试oozie报错To enable Oozie web console install the Ext JS library.

今天调试CDH的oozie，安装好服务后，打开web管理界面：页面提示：Ooziewebconsoleisdisabled.ToenableOoziewebconsoleinstalltheExtJSlibrary.RefertoOozieQuickStartdocumentationfordetails
河南骏·2016-07-13 09:11

CDH 5.x 完全卸载指南

以下路径是默认安装配置下的用户数据所在目录：/var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie/var
mtide_net·2016-07-12 10:30

CDH 5.x 完全卸载指南

以下路径是默认安装配置下的用户数据所在目录：/var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie/var
mtide_net·2016-07-12 10:30

基于Hadoop生态圈的数据仓库实践 —— ETL（三）

三、使用Oozie定期自动执行ETL1.Oozie简介（1）Oozie是什么    Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图
wzy0623·2016-07-11 15:00

Oozie-监控体系-Instrumentation

Oozie第一个版的监控是自定义的，后面引进了做监控当下主流的框架CodahaleMetrics本文从oozie自身的Instrumentation介绍，以及后面如果对接CodahaleMetrics；
PunyGod·2016-07-05 10:48

Hadoop家族系列文章

Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie
happyduoduo1·2016-07-02 10:00

在Oozie 中调度执行shell、hive 脚本，以及通过shell脚本执行hive/sqoop/shell脚本的方法

最近项目需要用到OOzie工具，可是找了好久，也没有找到一个完整的、统一的解决和部署方案。经过努力，终于打通了其中的所有环节，解决了各种坑爹的问题。
lyp5257918·2016-06-26 21:54
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他