Datax

更优雅的微信小程序骨架屏实现详解

替换思路：和imageLoader加载器类似：先展示默认图片，拿到数据之后显示真实的图片具体实现：页面准备一份默认数据：defaultDataxml中：页面onload时，data=defaultData
js_hcl·2019-08-07 11:38

DataX使用

官方地址:https://github.com/alibaba/DataX安装部署:https://blog.csdn.net/paicmis/article/details/53563824dataxsplit
仙道Bob·2019-07-30 20:36

CatBoost的Python与R实现

作者：徐静AI图像算法研发工程师博客：https://dataxujing.github.io/GitHub:https://github.com/DataXujingCatBoost(CategoricalBoosting
R语言中文社区·2019-07-23 11:00

使用 DataX 增量同步数据

http://ju.outofmemory.cn/entry/360202关于DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer
郭龙_Jack·2019-07-18 11:29

Python 获取 datax 执行结果保存到数据库的方法

执行datax作业，创建执行文件，在crontab中每天1点（下面有关系）执行：其中job_start及job_finish这两行记录是自己添加的，为了方便识别出哪张表。#!
薛定谔的DBA·2019-07-11 10:49

六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)

六种主流ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax，OracleGoldengate)比较维度\产品DataPipelinekettleOracleGoldengateinformaticatalendDataX
DataPipeline数见科技·2019-07-04 12:00

DataX使用记录

DataX使用记录DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS
cigg153·2019-06-29 19:27

Xcode相关

设置Git和忽略文件进入Xcode，打开偏好设置，选择SourceControl，选择Git添加用户名和邮箱设置忽略文件podfile.lockpods.DS_Storexcshareddataxcuserdata.xcworkspace
四五20·2019-06-25 09:14

DataLoader 数据处理

图片数据集的建立，和下面例子道理一样；x,可视为图片数据y,可视为标签数据importtorchimporttorch.utils.dataasDatax=torch.randn(10,10)#随机生成一些数据
Mr_FengT·2019-06-13 11:57

使用Datax将Hive数据迁移到Postgresql

将Hive的表数据导入到postgresql的表数据量大概8千多万Hive表采用orc格式，snappy压缩{"job":{"setting":{"speed":{"byte":1048576,"channel":1},},"content":[{"reader":{"name":"hdfsreader","parameter":{"path":"/user/hive/warehouse/sjjs
你锋哥真的强·2019-06-11 10:57

无侵入式的mysql的binlog采集——maxwell采集binlog放到kafka中——成功！

调研过flume，目前采用datax，但是都是具有侵入式，即使再增量也会影响服务器性能，详细藐视可以查看我以前的文章。调研flume、cannal、outter、maxwell最后无侵入式的，实时的。
大壮vip·2019-06-06 10:43

dataX调优

dataX调优标签（空格分隔）：ETL一，Datax调优方向DataX调优要分成几个部分（注：此处任务机指运行Datax任务所在的机器）。
Zeus~·2019-05-28 22:00

Alibaba DataX 源码编译

AlibabaDataX源码编译标签（空格分隔）：ETLDataX简介设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源
Zeus~·2019-05-27 22:00

实时需求功能开发，两表实时增量同步——datax

现在需要mysql几张表实时同步到一个地方，考虑到增量、性能问题，做出以下重要文档。某几张表实时同步实时需求开发一、技术组件调研1.sqoop方式无法实时2.flume方式。可以参考文章：https://blog.csdn.net/wzy0623/article/details/73650053方案优缺点利用Flume采集关系数据库表数据最大的优点是配置简单，不用编程。相比tungsten-rep
大壮vip·2019-05-27 17:33

DataX在有赞大数据平台的实践

一、需求有赞大数据技术应用的早期，我们使用Sqoop作为数据同步工具，满足了MySQL与Hive之间数据同步的日常开发需求。随着公司业务发展，数据同步的场景越来越多，主要是MySQL、Hive与文本文件之间的数据同步，Sqoop已经不能完全满足我们的需求。在2017年初，我们已经无法忍受Sqoop给我们带来的折磨，准备改造我们的数据同步工具。当时有这么些很最痛的需求：多次因MySQL变更引起的数据
有赞技术·2019-05-20 00:00

大数据同步工具DataX与Sqoop之比较

从接触DataX起就有一个疑问，它和Sqoop到底有什么区别，昨天部署好了DataX和Sqoop，就可以对两者进行更深入的了解了。
669生活·2019-05-17 22:18

DataX操作指南

1.DataX介绍DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
Rest探路者·2019-05-15 17:00

通过datax导入数据到elasticsearch

软件版本：elasticsearch版本（6.3.2）数据迁移方案datax导入数据到elasticsearch步骤：安装elasticsearchwriter插件，安装教程：从datax的github
slientopen·2019-05-14 10:17

DataX以及增量同步

目录第一部分：DataX一、DataX基本知识二、DataX应用三、DataX安装测试四、DataX性能调优五、DataX源码编译问题整理六、datax增量同步第二部分：增量同步一、数据库增量同步数据思路二
西京刀客·2019-05-13 16:04

DataX和kettle初步认识

文章目录DataX和kettle初步了解DataXDataX特点DataX结构模式（框架+插件）Kettlekettle的优点：DataX和kettle对比参考DataX和kettle初步了解DataXDataX
西京刀客·2019-05-12 11:34

tensorflow代码实战1_训练一个线性函数_一个简单的入门程序

list=PLXO45tsB95cKI5AIlf5TxxFPzb-0zeVZ8&index=9&frags=wn一、代码importtensorflowastfimportnumpyasnp#createdatax_data
梦回普达措·2019-05-11 19:15

01-datax安装和简单实用

参考连接：dataxgithub官方地址：https://github.com/alibaba/DataX1,安装使用1.1,下载地址http://datax-opensource.oss-cn-hangzhou.aliyuncs.com
张不二01·2019-04-30 10:36

java转大数据的学习路线

，对应出现了Sqoop，Cammel，Datax等工具。数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。由于数据增长速度快，数据存储就必须可以水平扩展。
a大数据·2019-04-29 11:11

DataX 数据全量，增量同步方案

关于DataX增量更新实现注：参考来源文章增量更新总体思路：从目标数据库读取一个最大值的记录，可以是DataTime或者RowVersion类型，然后根据这个最大值对源数据库要同步的表进行过滤，然后再进行同步即可
袭明·2019-04-27 14:40

DataX 数据全量，增量同步方案

关于DataX增量更新实现注：参考来源文章增量更新总体思路：从目标数据库读取一个最大值的记录，可以是DataTime或者RowVersion类型，然后根据这个最大值对源数据库要同步的表进行过滤，然后再进行同步即可
袭明君008·2019-04-26 23:42

hadoop学习之旅1

，对应出现了Sqoop，Cammel，Datax等工具。数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等
weixin_30652897·2019-04-16 10:00

datax数据同步实战（一）: hive2mysql

写在前面基于镜像版集群,通过datax完成hive（HDFS）数据同步至mysql实验。
kngines·2019-04-12 00:31

Java破坏双亲委派实现自定义加载器加载不同版本类

借鉴datax的一些代码，添加破坏双亲委派功能，实现在JVM中自定义加载器加载同包名、类名不同版本的类文件1、创建类加载器切换类，使用Thread的ClassLoaderContext控制/****为避免
码农-文若书生·2019-04-11 10:51

datax源码阅读四：TaskGroupContainer

根据前面源码阅读可以知道，JobContainer将所有的task分配到TaskGroup中执行，TaskGroup启动5个线程去消费所有的task的，具体实现为publicvoidstart(){try{/***状态check时间间隔，较短，可以把任务及时分发到对应channel中*/intsleepIntervalInMillSec=this.configuration.getInt(Core
weixin_33950035·2019-04-05 14:07

datax源码阅读三：JobContainer

()里面，包括init、prepare、split、scheduler、*post以及destroy和statistics*/@Overridepublicvoidstart(){LOG.info("DataXjobContain
兔子哈哈哈兔子11·2019-04-04 21:06

datax源码阅读一：python文件

一、前面主要是怎么使用datax和datax的插件编写，后面主要说明源码阅读部分，python相关文件二、datax关键代码（pythondatax.pytest.json）1、datax.py文件printCopyright
lyuharvey·2019-04-04 20:02

datax：总结

原文链接：https://yq.aliyun.com/articles/696838一、写在前面从接触datax到现在已经有一段时间，期间经历了以下几个阶段1、能够把datax使用起来：能够利用脚本将datax
串行并jjjjj·2019-04-04 19:34

3. python下编写代码实现PCA+SVD

预处理时：PCA降维时：3.2预处理的代码：整体调用函数：预处理NormalizeData(dataX,dataTestX)：PCA降维：对协方差矩阵做SVD4.python里使用成熟的现有PCA包1.
Aka_Happy·2019-03-26 19:47

采集kafka数据以orc格式写往hdfs

3)datax没有用过不知道能不能写orc3.自己写代码实现。写一个kafka的消费者。然后调用hive的api来写orc格式packag
键盘上的艺术家w·2019-03-26 14:07

【进阶】文件上传

导航：FormDataXMLHttpRequest上传前预览图片和文件上传进度信息下载进度信息newImage()最后：完整示例(1)FormData()对象提供一种表示表单数据的键值对构造方式，即用键值对来模拟一系列表单控件
woow_wu7·2019-03-22 09:42

tensorflow模块化编写神经网络

):#inputattributesasadictionary#给成员变量赋值self.attribute=config["attribute"]pass#setplaceholderforinputdatax_input
Lau_Sen·2019-03-21 22:30

datax同步MySQL数据到mongodb

经过同事间的不断研究，特弄出了这样一套方案：MySQL（RDS）------>Datax------>mongodb。
Free_1·2019-03-20 17:45

学习笔记：基于tensorflow的一个简单的神经网络例子:训练得到y=Wx+b中W和b值

importtensorflowastfimportnumpyasnp#createdatax_data=np.random.rand(100).astype(np.float32)#生成100以内随机数列
feiyang5260·2019-02-22 20:36

DATAX hdfsreader orc格式读取丢数问题修复及验证

生产上出现了问题：datax从hdfs读orc数据导入mongodb，有时会产生数据的丢失针对这个问题在github上提了个问题。然后两个月后，大神们修复了这个问题。
bulbcat·2019-02-12 15:41

TensorFlow学习程序（一）：一个简单的神经网络模型

importtensorflowastfimportnumpyasnp#Createdatax_data=np.random.rand(100).astype(np.float32)y_data=x_data
托尼·杨·2019-01-27 19:24

Matlab作图X，Y轴刻度显示不完全的问题之解决方案

举例:举例说明上述问题，示例Matlab代码如下，%datax=0:10;y1=x;y2=1/3.*x.
林微·2019-01-21 10:32

datax使用说明

datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore
SmartNewSexy·2019-01-14 11:34

docker运行datax实现数据同步方案 --docker commit方式测试

公司的归档库正式提出要搭建了，于是纪录搭建归档库的方案和过程。需要备份的库是生产Oracle主库，由于没有归档机制，公司经过8年时间的运行，对于多个表的数据查询已经累积到十亿级别，查询效率已经很低下了，鉴于数据库的IO压力，我提出了建立归档机制，把长时间不经常使用的数据转移到独立的数据库，保证生产的高效率。归档方案是吧两年前的数据转移到归档库上，每天定时执行一次。归档库的设计有多种选择，MySQL
布偶猫爸爸·2018-12-29 17:34

回归模型与房价预测

data=boston.datax=data[:,5]y=boston.targetimportmatplotlib.pyp
麦晓志·2018-12-17 08:00

GitHub Desktop 简单使用

[email protected]三.配置.gitignore的忽略文件1.cd在仓库目录下2.创建.gitignore文件指令vim.gitignore3.添加忽略的文件如：xcuserdataxx
Jakiro_Fan·2018-12-12 18:07

回归模型与房价预测

data=boston.datax=data[:,5]y=bost
DSJ666·2018-12-10 11:00

回归模型与房价预测

load_boston()boston.keys()dict_keys(['data','target','feature_names','DESCR'])print(boston.DESCR)data=boston.datax
C22C·2018-12-10 11:00

回归模型与房价预测

fromsklearn.datasetsimportload_bostonboston=load_boston()boston.keys()print(boston.DESCR)data=boston.datax
扁儿·2018-12-10 09:00

各数据特征与房价的关系

fromsklearn.datasetsimportload_bostonboston=load_boston()print(boston.keys())data=boston.datax=data[:
陈松林·2018-12-10 09:00

数据同步工具简单介绍

非实时同步工具DataX阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，定义好配置json文件执行脚本就可以了，非常适合离线数据，增量数据可以使用一些编码的方式实现
朝闻道-夕死可矣·2018-12-08 17:56
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他