datax

DataX 学习笔记

一.DataX简介1.1DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
十二同学啊·2024-01-11 08:39

9.1、全量表数据同步

1、数据通道全量表数据由DataX从MySQL业务数据库直接同步到HDFS，具体数据流向如下图所示。
施小赞·2024-01-11 02:15

数仓分层结构

TSV+gzip压缩（默认）OperateDataStore--存储从mysql业务数据库和日志服务器的日志文件中采集到的数据--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax
Young_IT·2024-01-09 06:40

ORA-600[12406]故障解决

重要特征也是分区表主库为exadatax6的12.1.0.2版本，备库为单机的12.1.0.2版本解决办法重启DG端备库，得到解决参考文献该客户处理过类似的case该case是分区表查询的数据量的不一致
foxytale·2024-01-08 15:31

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax类图

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门【大数据进阶第三阶段之Datax学习笔记】
伊达·2024-01-08 06:12

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门【大数据进阶第三阶段之Datax学习笔记】
伊达·2024-01-08 06:12

【大数据进阶第三阶段之Datax学习笔记】使用阿里云开源离线同步工具DataX 实现数据同步

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门【大数据进阶第三阶段之Datax学习笔记】
伊达·2024-01-08 06:40

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门【大数据进阶第三阶段之Datax学习笔记】
伊达·2024-01-08 06:39

DataX，数据同步工具，亲测真香

有些项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个
测试界柠檬·2024-01-08 05:19

【DataX】windows下本地DataX同步hive到mysql，hive带Kerberos认证

windows下本地debug运行同步，hive到mysql，其中hive带Kerveros认证的方法如下。直接同步会报错：java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset.下载https://git
airyv·2024-01-07 06:44

datax数据导入starrocks表报列数量不匹配错误，问题解决思路

背景在做客户数据导入任务的时候，需要将客户oracle的数据通过datax导入到starrocks的表中，但是datax的配置文件中SQL查找客户数据的列数和要导入的starrocks表的列数都是相同且对应的
lx__angel·2024-01-06 15:10

Migrate your data into databend with DataX

这也有了异构数据库的数据同步需求，今天重点给大家介绍两个利器：异构数据迁移：DataX结合云原生数仓Databend实现异构数据库数据合并及分析。
Databend·2024-01-06 14:17

DataX部署及迁移操作说明

DataX安装部署1、DataX简介DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
曹弘毅·2024-01-06 06:11

datax不支持对hive hdfs(ha)高可用 的hdfsreader（即无法读取到HDFS多节点高可用）.

处理方案：采用引入CDH的hive、hdfs等配置文件到hdfsreader,jar替换原的jar文件解决。（非标方案）jar包文件替换方式参考：https://www.jianshu.com/p/e00bf5c89bfe
whbi·2024-01-05 08:06

oracle xml_data 包的使用

以下是一个使用XMLType类型解析XML的示例：创建一个XMLType类型的变量：DECLARExml_dataXMLType;BEGIN--将XML数据存储在xml_data变量中xml_data:
emma20080101·2024-01-04 09:26

阿里巴巴开源异构数据源离线/全量/增量同步工具 - DataX

19年之后由于某些原因断更了三年，23年重新扬帆起航，推出更多优质博文，希望大家多多支持～古之立大事者，不惟有超世之才，亦必有坚忍不拔之志个人CSND主页——Micro麦可乐的博客《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程，入门到实战《RabbitMQ》本专栏主要介绍使用JAVA开发RabbitMQ的系列教程，从基础知识到项目实战《设计模式》专栏以实际的生活
Micro麦可乐·2024-01-04 00:51

Linux 下C语言中调用C++动态库完整流程

intget_parameter_result(double*dataY,double*dataX,double*result);#ifdef__cplusplus}#endif#endif2、编译C+
dreamliweiming·2024-01-03 22:04

过拟合 Dropout

importtorchimportmatplotlib.pyplotasplt#torch.manual_seed(1)#reproducibleN_SAMPLES=20N_HIDDEN=300#trainingdatax
地平线上的背影·2024-01-03 17:03

使用Datax将Hive中的表迁移到MySQL

1.安装datax（1）下载datax安装包可在Datax官网下载，或者私信我，文件太大，无法上传（2）解压datax压缩包sudotar-zxvfdatax.tar.gz-C/usr/local（解压到的目录
孤城暮雨@·2024-01-03 04:17

sqoop（DataX）-MySQL导入HIVE时间格问题

这里写自定义目录标题问题1：测试MySQL数据信息HIVE数据信息hive中用parquet（orc）列式文件格式存储解决方法问题2：解决方法问题1：用公司的大数据平台（DataX）导数，已经开发上线一个多月的一批报表
浊酒南街·2024-01-02 15:02

本地DataXWeb代码发布至Linux

本地DataXWeb代码发布至Linux有时候会对DataXWeb进行更改，或者是二次开发，但是网上较少用本地的代码打包发布记录，这里记录下。
敲代码的蒜子·2023-12-31 21:31

DataxWeb安装部署及使用--真香警告

DataxWeb安装部署及使用–真香警告文章目录1.Datax简介1.1Datax是什么？
大飞哥～BigFei·2023-12-31 21:29

【DataX】datax | datax-web | win搭建datax-web环境 | linux环境

maven3、mysql74、python35、window106、idea7、2345解压（win支持tar.gz解压）8、git二、linux操作步骤1、准备作业目录1）命令mkdir-p/opt/dataxmkdir-p
hgSuper·2023-12-31 21:28

数据同步工具—DataX—Web部署使用

以前了解datax,感觉对易用性不大好，目前发现已经图形配置工具。简单整理一下。
javastart·2023-12-31 21:50

sqoop的导入命令详解

sqoop是一个对数据进行导入或者导出的ETL工具，也有其他的同类产品，datax、kettle，但是不管使用什么工具，这都是一种手段，终其究竟，要学的是其中的思想和逻辑。
夜空痕·2023-12-31 13:55

DataX实现Gauss300-＞ADB PG(前一天数据)增量迁移

1、提前准备源Gauss300、目标ADBPG数据库连接信息。psql-hx.x.x.x-p25308-Utest1-ddb_namexxxxxxpsql-hx.x.x.x-p3432-Utest1-ddb_namexxxxxx2、编写迁移脚本，并执行迁移。#!/bin/bashfile_name=1.jsontoday_data=`date"+%Y-%m-%d00:00:00"`yesterda
曹弘毅·2023-12-30 08:40

datax

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
jerry-89·2023-12-29 09:24

[BUG]Datax写入数据到psql报不能序列化特殊字符

1.问题描述Datax从mongodb写入数据到psql报错如下org.postgresql.util.PSQLException:ERROR:invalidbytesequenceforencoding"UTF8
tuoluzhe8521·2023-12-29 00:30

Hive和Spark生产集群搭建（spark on doris）

1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark
tuoluzhe8521·2023-12-28 23:56

datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)

（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控）2.datax版本：自己编译的DataX-datax_v2022103.hdfs版本：3.1.34.hive版本：3.1.2二、同步思路
tuoluzhe8521·2023-12-27 10:14

datax离线同步不同数据库数据

##下载dataxcd/home/yym/wgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz##解压tar-zxvfdatax.tar.gz
蚰蜒螟·2023-12-26 16:11

sql注入之报错注入

目录1.常用报错的函数2.其他函数一.extractvalue（）二.updetaxml（）1.常用报错的函数（1）extractvalue()（2）updataxml()（3）floor（）2.其他函数
甯橗醭檬·2023-12-25 16:53

Backtrader 文档学习-Data Feeds（上）

self.datas是按插入顺序的数组数组对象的别名self.data和self.data0一样，都是指向第一组数据self.dataX指向第N组数据importbacktraderasbtimportbacktrader.feedsasbtfeedsdata
六月闻君·2023-12-25 12:00

DataX安装与原理

一、简介与安装DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据点滴·2023-12-22 14:05

抽数工具datax使用

最近做了一个项目，需要把oracle数据的表数据全量和增量抽取到mysql中，在调研了kettle和datax之后，果断选择了datax，datax为阿里开源的抽数工具，gitlub上可以下载，简单的配置一下
sliping123·2023-12-21 17:46

「Java工具类」BeanCopyUtil对象复制工具类

常用关键技术点，通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax
程序员阿宁·2023-12-21 01:37

数据同步工具

mysql--->es数据同步工具数据同步工具介绍基本介绍一下工具DataX,离线导入导出Sqoop,Sqoop是针对大数据而生的，专注于Hadoop(Hive)与传统的数据库数据的传递Sqoop(发音
光小月·2023-12-20 23:49

datax插件加载失败（插件[ftpreader,hdfswriter]加载失败）

WARNConfigParser-插件[ftpreader,hdfswriter]加载失败，1s后重试…Exception:Code:[Framework-12],Description:[DataX插件初始化错误
墨卿风竹·2023-12-20 09:48

DataX迁移MongoDB

DataX迁移MongoDB项目地址：GitHub-alibaba/DataX:DataX是阿里云DataWorks数据集成的开源版本。
雨打夏夜·2023-12-20 06:47

kafka同步mysql数据报Possibly consider using a shorter maxLifetime value.

但最近发现日志中总是报这么个warn:[13:43:53:135][WARN]-com.zaxxer.hikari.pool.PoolBase.isConnectionAlive(PoolBase.java:176)\-Dataxxxx-Fai
lucas1018·2023-12-19 03:29

Datax学习整理

一、简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(
耗子背刀PK猫·2023-12-18 02:53

Regression

importtensorflowastfimportnumpyasnp#去掉警告信息importosos.environ['TF_CPP_MIN_LOG_LEVEL']='2'#createdatax_data
cb_guo·2023-12-18 00:26

windows环境运行datax缺少本地hadoop环境报错：Could not locate executable null\bin\winutils.exe

目录一、完整报错二、解决三、临时解决方案四、其他一、完整报错十二月07,202310:01:05上午org.apache.hadoop.util.ShellgetWinUtilsPath严重:Failedtolocatethewinutilsbinaryinthehadoopbinarypathjava.io.IOException:Couldnotlocateexecutablenull\bin
zkkkkkkkkkkkkk·2023-12-17 04:08

七、 SpringBoot整合Spring Data JPA

而SpringDataxxx系列就是Spring这个生态圈对数据持久化层的整合。  SpringData是S
LiRS2001·2023-12-15 13:13

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

datax的mysql 到hdfs文件系统 --- 支持高可用

datax的mysql到hdfs文件系统上！
Java页大数据·2023-12-14 16:27

DataX，数据同步工具，亲测真香

有些项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个
程序员潇潇·2023-12-06 13:25

12、SQL注入——SQL报错注入

文章目录一、报错注入概述1.1报错注入1.2报错注入的前提条件1.3相关报错函数二、报错注入payload2.1利用extractvalue()函数进行报错注入2.2利用updataxml()函数进行报错注入
PT_silver·2023-12-06 12:45

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍：二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者·2023-12-02 10:22

2023.11.29 -hmzx电商平台建设项目 -核销主题阶段总结

目录1.准备源数据2.准备数仓工具进行源数据同步到ods层,本项目使用Datax3.使用Datax完成数据同步前建表时的方案选择3.1同步方式区别:3.2存储格式和压缩区别:4.在hive中创建表,共31
白白的wj·2023-12-02 09:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他