u013253924
u013253924

Embulk初接触

本文系Embulk英文网站翻译，仅供个人学习使用，本人英语渣渣，使用翻译软件协助翻译，见谅。

英文网站地址：http://www.embulk.org/docs/

一、什么是Embulk?

        Embulk是一个开源的批量数据加载器，用来在不同数据库、存储设备、文件格式以及云服务间转移数据

二、Embulk支持：

1、自动识别输入的文件格式

2、并行和分布式执行处理大数据集

3、保证事物控制单纯性

4、数据恢复

5、在RubyGems.org上发布插件

你可以使用输入和输出插件组合来定义一个批量数据加载器


（网站这里有一个插件的关系图）


例如,本教程描述如何使用csv文件输入插件解析器插件和gzip解码器插件读csv文件,和elasticsearch elasticsearch插件加载记录输出。


（以下是文档例程）

  • 快速启动
    • Linux
    • Mac OS X
    • 窗户
  • 方法
    • 安排批量数据加载Elasticsearch + Kibana 4从CSV文件
  • 插件的类别列表
    • 输入插件
    • 输出插件
    • 文件解析器插件
    • 文件解码器插件
    • 文件格式器插件
    • 过滤器插件
    • 文件编码插件
    • 执行器插件
  • 配置
    • Embulk配置文件格式
      • 使用变量
      • 包括文件
    • 本地文件输入插件
      • 选项
      • 例子
    • CSV解析器插件
      • 选项
      • 例子
    • Gzip解码器插件
      • 选项
      • 例子
    • 文件输出插件
      • 选项
      • 例子
    • CSV格式器插件
      • 选项
      • 例子
    • Gzip编码插件
      • 选项
      • 例子
    • 重命名过滤器插件
      • 选项
      • 例子
  • 定制
    • 创建插件
      • 步骤1:创建一个新项目
      • 第二步:构建项目
      • 步骤3:确认它的工作原理
      • 第四步:修改代码
    • 释放插件
      • 检查插件描述
      • 在RubyGems.org上创建帐户
      • 释放插件到RubyGems.org
      • 安装你的插件
  • JavaDoc
  • RDoc
  • Github
  • 版本注释
    • 释放0.7.10
    • 释放0.7.9
    • 释放0.7.8
    • 释放0.7.7
    • 释放0.7.6
    • 释放0.7.5
    • 释放0.7.4
    • 释放0.7.3
    • 释放0.7.2
    • 释放是0.7.1
    • 释放0.7.0
    • 释放0.6.27
    • 释放0.6.26
    • 释放0.6.25
    • 释放0.6.24
    • 释放0.6.23
    • 释放0.6.22
    • 释放0.6.21
    • 释放0.6.20
    • 释放0.6.19
    • 释放0.6.18
    • 释放0.6.17
    • 释放0.6.16
    • 释放0.6.15
    • 释放0.6.14
    • 释放0.6.13
    • 释放0.6.12
    • 释放0.6.11
    • 释放0.6.10
    • 释放0.6.9
    • 释放0.6.8
    • 释放0.6.7
    • 释放0.6.6
    • 释放0.6.5
    • 释放0.6.4
    • 释放0.6.3
    • 释放0.6.2
    • 释放0.6.1
    • 释放0.6.0
    • 释放0.5.5
    • 释放0.5.4
    • 释放0.5.3
    • 释放0.5.2
    • 释放0.5.1
    • 释放0.5.0
    • 释放0.4.10
    • 释放0.4.9
    • 释放0.4.8
    • 释放0.4.7
    • 释放0.4.6
    • 释放0.4.5
    • 释放0.4.4
    • 释放0.4.3
    • 释放0.4.2
    • 释放0.4.1
    • 释放0.4.0
    • 释放0.3.2
    • 释放0.3.1
    • 释放0.3.0
    • 释放0.2.1
    • 释放0.2.0
    • 释放0.1.0


     
     
   

你可能感兴趣的:(Embulk)

  • Embulk 安装和配置 Alex90
    Embulk开源的批量数据加载器，用来在不同数据库、存储设备、文件格式以及云服务间转移数据，支持：自动识别输入的文件格式并行和分布式执行处理保证事务控制一致性数据恢复可以使用输入和输出插件组合来定义一个批量数据加载器支持输入输出源需要安装插件安装环境要求：jdk1.6+Linux&Mac&BSD$curl--create-dirs-o~/.embulk/bin/embulk-L"https://d
  • Embulk初接触 Zack_ZXY Kettle学习笔记
    本文系Embulk英文网站翻译，仅供个人学习使用，本人英语渣渣，使用翻译软件协助翻译，见谅。英文网站地址：http://www.embulk.org/docs/一、什么是Embulk?Embulk是一个开源的批量数据加载器，用来在不同数据库、存储设备、文件格式以及云服务间转移数据二、Embulk支持：1、自动识别输入的文件格式2、并行和分布式执行处理大数据集3、保证事物控制单纯性4、数据恢复5、在
  • Embulk开门篇 Free World Embulk
    笔者之前在一些博客中给大家介绍过Linkedin开源的Gobblin，它也是一个通用的数据抽取框架，可以将很多数据源（大家可以访问http://gobblin.apache.org，查看到具体的数据源有哪些，有动画演示）抽取到Hadoop大数据平台上，而且也具备了一些企业级的功能，比如可扩展，容错，事务，统一资源管理等等。这里就不再对Gobbin进行过多的介绍和研究。今天笔者给大家带来另外一个开源
  • Embulk初接触 u013253924 Embulk
    本文系Embulk英文网站翻译，仅供个人学习使用，本人英语渣渣，使用翻译软件协助翻译，见谅。英文网站地址：http://www.embulk.org/docs/一、什么是Embulk?       Embulk是一个开源的批量数据加载器，用来在不同数据库、存储设备、文件格式以及云服务间转移数据二、Embulk支持：1、自动识别输入的文件格式2、并行和分布式执行处理大数据集3、保证事物控制单纯性4、
  • 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题 何必如此 jsp超链接文件下载窗口
    生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
  • 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
    在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
  • linux上独立安装部署spark daizj linux安装spark1.4部署
    下面讲一下linux上安装spark，以 Standalone Mode 安装   1）首先安装JDK   下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz     然后配置 ~/.bashrc&nb
  • Java 字节码之解析一 周凡杨 java字节码javap
        一： Java 字节代码的组织形式   类文件 {     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
  • java各种小工具代码 g21121 java
    1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
  • 加快FineReport报表设计的几个心得体会 老A不折腾 finereport
    一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
  • mysql linux启动与停止 墙头上一根草
    如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
  • Spring中事务管理浅谈 aijuans spring事务管理
    Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 拿一个XML举例 [html]  view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
  • php中隐形字符65279（utf-8的BOM头）问题 alxw4616
    php中隐形字符65279（utf-8的BOM头）问题 今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.   调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.        
  • 调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶 对象的传递与调用技巧
        类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看   为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)   类和对象的基础概念:   JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
  • JDK1.5 AtomicLong实例 bijian1013 javathreadjava多线程AtomicLong
    JDK1.5 AtomicLong实例 类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。  
  • 自定义的RPC的Java实现 bijian1013 javarpc
            网上看到纯java实现的RPC，很不错。         RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
  • 【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
    什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
  • 【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
    在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
  • F5　往header加入客户端的ip ronin47
    when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
  • java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
    思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
  • mongoDB 索引 开窍的石头 mongoDB索引
    在这一节中我们讲讲在mongo中如何创建索引       得到当前查询的索引信息      db.user.find(_id:12).explain();        cursor: basicCoursor 指的是没有索引  &
  • [硬件和系统]迎峰度夏 comsci 系统
      从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内    所以，从现在开始准备渡过炎热的夏天。。。。    每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系)    坐的，躺的地方要有凉垫，床上要有凉席       电脑的机箱
  • 基于ThinkPHP开发的公司官网 cuiyadll 行业系统
    后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 轻量级企业网站管理系统 运行环境:PHP5.3+, MySQL5.0 系统预览 系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应 响应式的网站设计能够对用户产生友好度，并且对于
  • Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms事务承认MQacknowledge
    JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
  • Centos添加硬盘完全教程 dcj3sjt126com linuxcentoshardware
    Linux的硬盘识别: sda        表示第1块SCSI硬盘 hda       表示第1块IDE硬盘 scd0      表示第1个USB光驱 一般使用“fdisk -l”命
  • yii2 restful web服务路由 dcj3sjt126com PHPyii2
    路由 随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
  • MongoDB查询(4)——游标和分页[八] eksliang mongodbMongoDB游标MongoDB深分页
    转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标         数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
  • Activity的四种启动模式和onNewIntent() gundumw100 android
    Android中Activity启动模式详解 　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
  • 攻城狮送女友的CSS3生日蛋糕 ini htmlWebhtml5csscss3
    在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm   代码如下：   <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
  • 读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcatWebservlet网络应用网络协议
    Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。     先看javax.servlet.servlet接口源码：  package
  • JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 javaVOHibernatepo
      PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 　实际上，这个VO被用作Data Transfer
  • mongodb group by date 聚合查询日期 统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
  • java之18天 常用的类(一) Luob. MathDateSystemRuntimeRundom
    System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
  • maven wuai maven
    1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他