Datax

DataX的环境搭建以及简单测试

DataX的环境搭建以及简单测试一、什么是DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Titanium_LL·2020-08-14 16:56

Datax-Mysql同步至Hive时时区问题导致日期减少一天

一、问题背景Datax从Mysql数据库到Hive数据同步任务时，发现同步时，date类型字段同步到Hive里中string类型字段时，部分日期会减少一天。
Shadow_Light·2020-08-14 16:07

datax 中Transformer的使用

datax中的Transformer的使用建议看一下datax的源码哦！其实没有我们想象的那么复杂...官网上也有些示例代码的。
MrZhangBaby·2020-08-14 16:24

DATAX 使用记录

DATAX使用记录批量表迁移准备表准备datax.json文件准备执行脚本.sh批量表迁移准备表vimmysqltables.txttb_consultation_typetb_conversation_recordtb_relation_record_consultationtb_relation_student_grouptb_relation_teacher_collegetb_relati
Kafka_yx·2020-08-14 16:29

Datax与Sqoop的优缺点

sqoop主要特点1、可以将关系型数据库中的数据导入hdfs、hive或者hbase等hadoop组件中，也可将hadoop组件中的数据导入到关系型数据库中；2、sqoop在导入导出数据时，充分采用了map-reduce计算框架，根据输入条件生成一个map-reduce作业，在hadoop集群中运行。采用map-reduce框架同时在多个节点进行import或者export操作，速度比单节点运行多
击水三千里·2020-08-14 16:56

datax使用小记

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
HYESC·2020-08-14 16:08

Datax使用小结

1.首先，先来了解下Datax是做什么的吧：https://github.com/alibaba/DataX/blob/master/introduction.md2.Datax下载链接(Windows
BAStriver·2020-08-14 15:31

datax动态传参指定SQL语句

需求：动态的修改sql语句来读mysql，动态的修改hbase表名来指定写入的hbase表。脚本：{"job":{"setting":{"speed":{"byte":8388608,"channel":3},"errorLimit":{"record":0,"percentage":0.02}},"content":[{"reader":{"name":"mysqlreader","parame
ASN_forever·2020-08-14 15:20

dataX从mysql导出数据到hbase

业务数据库中存了大量的历史数据，导致在根据业务条件查询数据的时候效率太低。因此考虑将原始的业务数据通过SQL先做一遍处理后放到中间表，然后再把中间表的数据同步到hbase，以后直接从hbase查询数据。当然这个还涉及到增量数据如何同步，如何保证增量数据不丢失等问题，不在这里记录。这里只记录mysql中的数据如何全量同步到hbase。异构数据源之间的数据迁移工具比较多，常用的有kettle、sqoo
ASN_forever·2020-08-14 15:20

DataX学习笔记-Reader插件开发

DataX开发基于读取ElasticSearch数据的Reader插件1、检出DataX源码（gitclonehttps://github.com/alibaba/DataX.gitDataX），导入项目
人生偌只如初见·2020-08-14 15:59

DataX学习笔记-Writer插件开发(续)

之前那篇笔记基于的DataX版本比较低，现换成git上最新版本的DataX重新开发基于将数据写入ElasticSearch的Writer插件1、检出DataX源码（gitclonehttps://github.com
人生偌只如初见·2020-08-14 15:59

datax 导数据，从 mysql 到 phoenix

一、模板从mysql到phoenix，调用的hbase11xsqlwriterfact_user_role.json{"job":{"entry":{"jvm":"-Xms2048m-Xmx2048m"},"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"bdquery","password":"*******"
丁丁点灯o·2020-08-14 15:43

DataX 实战使用说明

DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台，实现包括MySQL，Oracle，SqlServer，Postgre，HDFS，Hive，ADS，HBase，TableStore（OTS
白夜行"·2020-08-14 15:12

DataX使用总结

简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
敲敲敲敲敲踏马·2020-08-14 15:38

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

概述DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS
weixin_33713707·2020-08-14 15:19

DataX 定制数据传输: 使用DataX Transformer

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
东海陈光剑·2020-08-14 15:09

dataX使用指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
一个不靠谱的程序员·2020-08-14 15:34

DataX安装部署-Reader插件二次开发

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
凉城的夜·2020-08-14 15:46

1.Apache Dolphinscheduler1.3.0 datax Directory could not be created

ApacheDolphinscheduler1.3.0datax节点Directorycouldnotbecreated一、问题报错：[ERROR]2020-06-1710:31:19.709-[taskAppId
终回首·2020-08-14 15:54

datax中使用时间增量回滚同步

发现datax中对增量同步做的不够完善，有些数据库没有update操作。不能进行更新，只能进行插入。以sqlserver为例。
INSNNP李志明·2020-08-14 15:53

DataX简介

转自：http://code.taobao.org/p/datax/wiki/DataX%E4%BA%A7%E5%93%81%E8%AF%B4%E6%98%8E/1、DataX是什么?
记录点滴·2020-08-14 15:27

Datax 二次开发插件详细过程

目录1.背景2.需求3.开发步骤3.1去github上下载datax的代码3.2本地解压，并导入idea3.3创建一个模块kafkareader3.4将任意一个模块的以下两个文件考入到resource目录下
键盘上的艺术家w·2020-08-14 15:22

DataX 介绍

DataX实现跨平台的、跨数据库、不同系统之间的批量数据同步。当我们需要从各种异构数据源之间完成数据同步的时候，是否需要开发很多工具完成？答案是不用，因为你有DataX。
五柳-先生·2020-08-14 15:45

简化datax源码，以便于datax二次开发、调试

#项目简介DataX是一款十分优秀的数据同步工具，以插件的方式集成了大量数据源的读写。
imliuyu·2020-08-14 15:37

大数据全家桶安装及启动JDK，mysql，canal，Zookeeper，Hadoop，Hive，Hbase，Datax，kylin，kafka，spark，flink，redis，zeppelin等

准备虚拟机用户名:root密码:123456IP:192.168.100.100主机名:node01修改虚拟机IP地址:vim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:29:61:02:ECTYPE=EthernetUUID=78ce60bd-12ff-4f76-9783-c1ddba997090ONBOOT=
西安人走哪都要吃泡馍·2020-08-14 15:26

DataX离线数据同步工具/平台

DataX离线数据同步工具/平台DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、OceanBase
星河子_YumWisdom·2020-08-14 15:47

DataX二次开发插件rediswriter已上菜

rediswriter代码地址：https://github.com/lijufeng2016/DataX-redis-writer合并后DataX完整代码地址：https://github.com/lijufeng2016
喜剧之皇·2020-08-14 15:35

MySQL超时参数以及相关数据集成、DataX数据同步案例分享

一、背景MySQL系统变量提供关于服务器的一些配置和能力信息，大部分变量可在mysqld服务进程启动时设置，部分变量可在mysqld服务进程运行时设置。合理的系统变量设值范围，是保障MySQL稳定提供服务的重要因素。本文主要描述MySQL数据库的超时timeout相关的一些系统变量，部分参数同程序应用中常见到的CommunicationsException:Communicationslinkfa
weixin_33964094·2020-08-14 12:09

tensorflow--深度学习/入门例子

tensorflow框架结构，一定要在头脑里面有一个网络图，当然，tensorflow带有tensorboard可视化工具初识：importtensorflowastfimportnumpyasnp#creatdatax_data
u:boom·2020-08-14 03:34

单片机实验-数据传送

include#defineLENTH16unsignedcharidatadADDR[LENTH]_at_0x30;//定义数组dADDR，大小为16Byte,首地址为0x30unsignedcharxdataxADDR
Jackaroo_Zhang·2020-08-14 01:58

pytorch 3 activation 激活函数

2.3ActivationFunctionimporttorchimporttorch.nn.functionalasFfromtorch.autogradimportVariableimportmatplotlib.pyplotasplt#fakedatax
轮子去哪儿了·2020-08-13 22:03

datax --postgresql使用

datax1.json{"job":{"setting":{"speed":{"byte":1048576,"channel":"4"}},"content":[{"reader":{"name":"postgresqlreader
yostkevin·2020-08-13 20:29

机器学习篇（岭回归）

abnormal.txt','r')asf:forlineinf.readlines():data=[float(substr)forsubstrinline.split(',')]#遍历每行的数据添加到ｄａｔａx.append
周末饺子配啤酒·2020-08-13 16:46

dataX中CommonRdbms的分片过程

CommonRdbms主要泛指一些常用的传统数据库如Mysql、Oracle等，本文以Mysql到Mysql的导入为例说明这类数据库的分片过程。split的入口是在JobContainer#split，主要包含以下几个步骤：根据用户配置的值算出当前job的channel的建议值；Reader端分片；Writer端分片；合并Reader和Writer端的分片，一形成一一对应的关系，便于后面任务调度的
GJMZ·2020-08-12 14:46

大数据同步数据利器-DataX

DataX的使用在接触datax之前，一直用的是ApacheSqoop这个工具，它是用来在ApacheHadoop和诸如关系型数据库等结构化数据传输大量数据的工具。
OK OK 007·2020-08-12 13:37

一个链表的每个节点，有一个指向next指针指向下一个节点，还有一个rand指针指向这个链表中的一个随机节点或NULL，现在要求复制一个单链表来实现这个链表，返回复制后的新链表。

为此链表的头结点typedefstructComNode{int_data;structComNode*next;structComNode*rand;}ComNode;ComNode*BuyNode(Datax
five_year·2020-08-11 21:57

2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？

B.通过datax的httpReader和hdfsWriter插件，从而获取所需的数据。C.比较理想的回答，是在计算引擎的UDF中调用查询api，执行UDF的查询结果存储到对应的表中。
福大大架构师每日一题·2020-08-11 10:07

DataX实现:从Hive到MySQL数据抽取(含完整json配置)

1.需求从离线Hive数仓ads层抽取数据到Mysql2.参考DataX官方Github实例DataX官网从hive读数据{"job":{"setting":{"speed":{"channel":3}
海若[MATRIX]·2020-08-11 05:44

datax详解以及案例

一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase
weidajiangjiang·2020-08-10 07:19

IOS学习笔记33—XML解析之KissXML的使用

IOS中有关XML的解析有很多方法，之前在使用GDataXML解析XML文档一文中说明了如何使用Google提供的XML解析类来解析XML文件，今天使用另一个开源项目KissXML来解析XML文件，引入开源项目及配置项目的方式和之前那篇文章中一样
唐韧_Ryan·2020-08-10 01:07

用C语言求解迷宫问题

intg;//终点x坐标inth;//终点y坐标charmizu[c][d];intflag[d][c]={0};typedefintTypeData;typedefstructnode{TypeDatadatax
我是常明珠·2020-08-10 00:52

莫烦大大TensorFlow视频学习笔记

本文代码均为莫烦大大视频代码，成功运行后发表在此作为学习笔记以下代码为通过机器学习的方法求得函数y=0.1x+0.3@author:莫烦"""importtensorflowastfimportnumpyasnp#createdatax_data
树先生和他的小考拉·2020-08-09 16:15

VB正则表达式

dat'的模式可以找到下述文件：data1.datdata2.datdatax.datdataN.dat如果使用*字符代替?字符，则将扩大找
weixin_30298497·2020-08-09 13:23

四种激励函数图像

importtorchimporttorch.nn.functionalasFfromtorch.autogradimportVariableimportmatplotlib.pyplotaspltif__name__=='__main__':#fakedatax
想念@思恋·2020-08-08 21:03

postman中 form-data、x-www-form-urlencoded、raw、binary的区别

目录目录form-datax-www-form-urlencodedrawbinarymultipartform-data与x-www-form-urlencoded区别1.form-data就是http
M1lo·2020-08-08 21:08

datax hdfs2mysql.json模板

运行如下命令可以查看官方文档datax.py-rhdfsreader-wmysqlwriterDataX(DATAX-OPENSOURCE-3.0),FromAlibaba!
江湖峰哥·2020-08-08 20:50

datax sqlservr2hdfs.json模板

{"job":{"content":[{"reader":{"name":"sqlserverreader","parameter":{"connection":[{"jdbcUrl":["jdbc:sqlserver://ip:port;databaseName=db"],"table":["tableName"]}],"password":"pwd","username":"sa","colu
江湖峰哥·2020-08-08 20:50

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block

Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException:INFOorg.apache.hadoop.hdfs.server.datanode.DataNode
weixin_33712987·2020-08-08 02:27

R语言搭建炫酷的线上博客系统

个人博客：https://dataxujing.github.io/市面上有很多开源的博客搭建系统比如jekyll(我的个人博客就是用jekyll搭建的),hugo等。
刘永鑫Adam·2020-08-08 01:47

PHP使用PHPExcel读取excel表格

至于用途，除了导入导出，剩下的自己想象吧第一步：上传excel附件form表单上传，这个就不用说的了，不会的百度下PHP保存附件，简单DEOM/*获取提交的数据*/$tmp_name = $_FILES['dataxls
-网络游客·2020-08-07 18:12
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他