Datax

滴滴云使用 DataX 实现 Hive 与 MySQL 数据传输

1.DataX简介：DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
付江·2018-12-07 11:22

DataX-Migration数据库迁移，数据库同步实现解决方案

DataX-MigrationDataX-MigrationisYxt(Yunxuetang)FullDatabaseMigrationToolbasedonAlibabaDataX3.0.SupportDatabaseMigrationamongMysql
Jawf·2018-12-01 09:39

tensorflow简单全连接神经网络，识别minist手写数字

importtensorflowastffromnumpy.randomimportRandomStatefromtensorflow.examples.tutorials.mnistimportinput_datax
黄鹏桂·2018-11-28 19:45

datax，同步数据，mysql sqlserver 双向

参考：mysql实时同步到mssql的解决方案https://×××w.cnblogs.com/liweis/p/4749961.htmlDataX阿里巴巴集团的离线数据同步工具/平台（各种异构数据源之间高效的数据同步
ikezcn·2018-11-23 14:17

携程实时计算平台架构与实践丨DataPipeline

一、携程大数据平台之总体架构携程大数据平台结构分为三层：应用层：开发平台Zeus（分为调度系统、Datax数据传输系统、主数据系统、数据质量系统）、查询平台
DataPipeline·2018-11-21 12:59

使用datax的时候，遇到的一些问题

1、之前是hadoop高可用，把高可用撤去之后，用hive创建表，报错FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:java.lang.IllegalArgumentException:java.net.UnknownHostException:cl
Angular_need·2018-11-12 23:18

大数据之路——阿里巴巴大数据实践（小白笔记）

UserTrack是APP端日志采集方案数据传输：TimeTunnel（TT）体系进行数据传输，既包括数据库的增量数据传输，也包括日志数据的传输，既支持实时流式计算，也支持时间窗口的批量计算数据同步工具（DataX
cainiao22222·2018-11-12 17:23

python建模库

importpandasaspdimportnumpyasnpdata=pd.DataFrame({'x0':[1,2,3,4,5],'x1':[0.01,-0.01,0.25,-4.1,0.],'x2':[-1.5,0.,3.6,1.3,-2.1]})datax0x1x2010.01
DMU_lzq1996·2018-11-09 21:05

python建模库

importpandasaspdimportnumpyasnpdata=pd.DataFrame({'x0':[1,2,3,4,5],'x1':[0.01,-0.01,0.25,-4.1,0.],'x2':[-1.5,0.,3.6,1.3,-2.1]})datax0x1x2010.01
DMU_lzq1996·2018-11-09 21:05

Keras学习（八）——save & reload

forreproducibilityfromkeras.modelsimportSequentialfromkeras.layersimportDensefromkeras.modelsimportload_model#createsomedataX
cchangcs·2018-10-30 20:27

python TensorFlow 测试代码

importtensorflowastfimportnumpyasnp#createdatax_data=np.random.rand(100).astype(np.float32)y_data=x_data
haohulala·2018-10-24 14:23

汇编语言指令

1、数据传送指令集MOV功能:把源操作数送给目的操作数语法:MOV目的操作数,源操作数格式:MOVr1,r2MOVr,mMOVm,rMOVr,dataXCHG功能:交换两个操作数的数据语法:XCHG格式
BlackRiders·2018-10-15 21:28

iOS 解析xml文件之GDataXML重点xPath

本篇文章，主要整合一下网上的GdataXML的使用方法以及介绍下nodesForXPath方法。
蓝蓝蓝蓝蓝v·2018-10-12 19:32

使用 axios 上传媒体文件

一、FormDataXHR2添加了一个新的接口FormData，通过FormData对象里面的键值对可以模拟表单控件异步上传二进制文件。
后除·2018-10-06 18:41

datax windows下安装及使用（linux）

安装前，需要以下依赖环境：1、下载datax，下载的为压缩包文件：https://github.com/alibaba/DataX2、将datax压缩包解压在安装目录：3、进入windows中cmd命令环境中
china_xin1·2018-09-27 22:09

逆向WxyVM1----给同学写的解题思路

以示和之前原本输入的字符串有区别看下第二个点遍历输入2的每一个字符和dword的数组对比每一个都要一样于是提取下这个数组ata:0000000000601060dword_601060dd0FFFFFFC4h;DATAXREF
thread___________·2018-09-27 07:52

DataX初体验-python命令启动以及纯java启动

一、DataX安装官网描述很详细，很简单---->DataX安装二、使用示例：从Oracle数据库导数据到Mysql数据库事先准备：Oracle数据库的ORDER_INFO表，MySQL数据库的order_info
me0w·2018-09-18 16:18

异构数据库迁移——DATAX

背景在最近接触到的一个case里面，需要把db2的数据迁移至oracle，客户可接收的停机时间为3小时。同步方式的比较一说到停机时间，大家第一时间想到Oracle公司的GoldenGate实时同步工具。但在测试过程中发现，由于无法提前检查，而且初始化时间很久等问题，导致我们最后不得不放弃使用这一神器。既然OGG不能使用，那能传统导出文本再用sqlload导入，那是否可行呢？根据以往的经验，只要数据
baidang9740·2018-09-04 16:00

dataX学习

1、下载压缩包下载页面地址：https://github.com/alibaba/DataX不要在【Cloneordownload】处下载，那里下载的是源码；自行编译显得有点困难。
东孤熊猫·2018-09-04 09:17

datax安装及配置

SystemRequirementsLinuxJDK(1.8以上，推荐1.8)Python(推荐Python2.6.X)ApacheMaven3.x(CompileDataX)wgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com
chunyangwu·2018-08-31 11:00

使用DataX将Hive与MySQL中的表互导

一、DataX简介（摘自https://github.com/alibaba/DataX）DataXFeaturesDataX详细介绍QuickStartSupportDataChannels二、开始正文
光于前裕于后·2018-08-30 15:44

基于QT,cyapi的CYUSB3014，USB3.0上位机编写

异步采集：通过begindataxfer,waitforxfer,finishdataxfer来实现，通过begindataxfer发起多个队列请求，通过finishdataxf
hanshihao1336295654·2018-08-22 15:39

数据结构（C语言）-07-图-由依次输入的顶点数目，弧数目，和各个弧信息建立有向图的邻接表

intLocateVex(AdjList*G,VertexDatax)/*求顶点位置函数*/{intj=error,k;for(k=0;kvexnum,k++)if(G->vertex[k]==x){j
南淮北安·2018-08-19 23:19

MongoDB配置复制集和分片！！！

mongodb和把mongodb的bin目录写到path里面并且成功运行过的情况下来操作如下步骤复制集：1同一个文件夹下面写入新建三个文件夹如下图类似与这种，然后再每个文件下新建立两个文件（nodex对应datax
忘川风华录·2018-08-14 15:30

深度学习·Tensorflow入门示例demo

tensorflow1.9.01.目的生成一些三维数据，并使用tensorflow进行平面拟合2.代码实现和注解1）加载库importnumpyasnpimporttensorflowastf2）生成伪随机数据#processdatax_data
mosan123·2018-08-08 11:34

异构数据源海量数据交换工具-Taobao DataX 下载和使用

异构数据源海量数据交换工具-TaobaoDataX下载和使用DataX介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem
羽翼天宇·2018-07-29 15:14

pytorch 入门--简单神经网络

#导入文件importtorchimporttorch.nn.functionalasFimportmatplotlib.pyplotasplt#makedatax=torch.unsqueeze(torch.linspace
hpulfc·2018-07-27 11:58

java dataX同步数据

json{"job":{"setting":{"speed":{"byte":1048576},"errorLimit":{"record":0,"percentage":0.02}},"content":[{"reader":{"name":"oraclereader","parameter":{"username":"root","password":"root","column":["ID"
柳乔乔·2018-07-26 14:08

Datax 与 Azkaban 实现数据抽取与调度

1.什么是DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
bigdataCoding·2018-07-26 10:19

highcharts编写交易所深度图

400,1000]],"sell":[[500,1100],[610,3000],[720,4000],[830,5000]]}letbuy=data.buy;letsell=data.sell;letdataX
木子Leo·2018-07-21 10:27

浅谈增量数据的四种抽取模式

目前数据传输迁移的工具非常多，比如DataX，DTS，Kettle等等。
Mochou_liqb·2018-07-11 11:30

莫凡Tensorflow视频学习001 一元线性函数y = w *x + b

importtensorflowastfimportnumpyasnp#createdatax_data=np.random.rand(100).astype(np.float32)y_data=x_data
sxl545·2018-06-27 21:29

mongoDB+hive/hbase数据导入，Datax配置及脚本

首先对于字段相对固定的，我采取的是mongodb->datax->hive的途径json配置：{"job":{"setting":{"speed":{"channel":2}},"content"
HusbandWang·2018-06-25 11:30

阿里巴巴离线数据同步工具/平台datax安装、使用笔记

废话不多说，直接上笔记，先来看下参考链接GitHub:https://github.com/alibaba/DataX。此链接有较详细的安装使用方法，还有json参数编写的文档说明，建议多看。
下班闪电去打卡·2018-06-18 14:00

Datax 数据同步

{"sliceRecordCount":10,"column":[{"type":"long","value":"10"},{"type":"string","value":"hello，你好，世界-DataX
pdw2009·2018-06-08 18:44

mysql+hive数据导入，Datax配置及脚本

1、在hive中建表createtabletest0604(CD_IDINT,COMMENSTRING,COLUMN_NAMEstring,TYPE_NAMEstring,INTEGER_IDXint)PARTITIONEDBY(datestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'STOREDASORC;注：公司要求指定在hive中存储格式为ORC
HusbandWang·2018-06-04 20:50

DataX使用指南

简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
可乐Y·2018-05-08 09:17

异构数据源离线同步工具 加任务组合调度

1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
gnicky·2018-05-05 16:18

php将xml转换为数组

函数：/*@desc：xml转数组@paramdataxml字符串@returnarr解析出的数组*/functionxmltoarray($data){$obj=simplexml_load_string
Lee_吉·2018-05-04 10:56

tensorflow模型的save与restore，以及checkpoint中读取变量

创建一个NNimporttensorflowastfimportnumpyasnp#fakedatax=np.linspace(-1,1,100)[:,np.newaxis]#shape(100,1)noise
J_______ll·2018-05-03 21:20

hive中创建关联hbase表的几种方案

但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。【创建关联表的几种方案】前提是：hbase中已经存在了一张表。
Tony_仔·2018-05-03 16:00

python3下tensorflow练习（一）

40:082018@author:jiangcheng"""importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotasplt#createdatax_data
su扬帆启航·2018-05-02 09:49

DataX3.0介绍

概览datax是一个异构数据源离线同步工具，主要实现包括关系型数据库(MySQL、Oracle等)、MongoDB、Hive、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
peiwj1993·2018-04-16 22:03

DataX安装部署及小试

1、下载压缩包下载页面地址：https://github.com/alibaba/DataX不要在【Cloneordownload】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难
BabyFish13·2018-04-16 19:53

DataX安装部署及小试

1、下载压缩包下载页面地址：https://github.com/alibaba/DataX不要在【Cloneordownload】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难
BabyFish13·2018-04-16 19:53

Datax 3.0 windows 安装

下面是我的安装环境：DataX源码下载DataX源码路径，下载压缩包解压到本地目录。
Session-在水一方·2018-04-09 11:42

Byte 字节获取数组长度，转NSData

我有一个Byte数组BytedataByte[]={0X80,0X80,0X9C,0XAA,0X55};我需要转成NSDataNSData*datax=[[NSDataalloc]initWithBytes
隐身人·2018-04-08 10:44

数据集成工具Kettle、Sqoop、DataX的比较

1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
ice_fire2008·2018-04-05 17:52

datax源码分析（一）

这里，对datax源码进行粗略的分析。
chenqu108·2018-04-03 15:20

aliyun 的特殊参数

Thetable‘/home/mysql/dataxxx/tmp/#sql_2db3_1’isfull。需要先分析
会说话的鱼·2018-03-29 17:26
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他