datax

数据同步工具—DataX—Web部署使用

以前了解datax,感觉对易用性不大好，目前发现已经图形配置工具。简单整理一下。
javastart·2023-12-31 21:50

sqoop的导入命令详解

sqoop是一个对数据进行导入或者导出的ETL工具，也有其他的同类产品，datax、kettle，但是不管使用什么工具，这都是一种手段，终其究竟，要学的是其中的思想和逻辑。
夜空痕·2023-12-31 13:55

DataX实现Gauss300-＞ADB PG(前一天数据)增量迁移

1、提前准备源Gauss300、目标ADBPG数据库连接信息。psql-hx.x.x.x-p25308-Utest1-ddb_namexxxxxxpsql-hx.x.x.x-p3432-Utest1-ddb_namexxxxxx2、编写迁移脚本，并执行迁移。#!/bin/bashfile_name=1.jsontoday_data=`date"+%Y-%m-%d00:00:00"`yesterda
曹弘毅·2023-12-30 08:40

datax

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
jerry-89·2023-12-29 09:24

[BUG]Datax写入数据到psql报不能序列化特殊字符

1.问题描述Datax从mongodb写入数据到psql报错如下org.postgresql.util.PSQLException:ERROR:invalidbytesequenceforencoding"UTF8
tuoluzhe8521·2023-12-29 00:30

Hive和Spark生产集群搭建（spark on doris）

1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark
tuoluzhe8521·2023-12-28 23:56

datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)

（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控）2.datax版本：自己编译的DataX-datax_v2022103.hdfs版本：3.1.34.hive版本：3.1.2二、同步思路
tuoluzhe8521·2023-12-27 10:14

datax离线同步不同数据库数据

##下载dataxcd/home/yym/wgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz##解压tar-zxvfdatax.tar.gz
蚰蜒螟·2023-12-26 16:11

sql注入之报错注入

目录1.常用报错的函数2.其他函数一.extractvalue（）二.updetaxml（）1.常用报错的函数（1）extractvalue()（2）updataxml()（3）floor（）2.其他函数
甯橗醭檬·2023-12-25 16:53

Backtrader 文档学习-Data Feeds（上）

self.datas是按插入顺序的数组数组对象的别名self.data和self.data0一样，都是指向第一组数据self.dataX指向第N组数据importbacktraderasbtimportbacktrader.feedsasbtfeedsdata
六月闻君·2023-12-25 12:00

DataX安装与原理

一、简介与安装DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据点滴·2023-12-22 14:05

抽数工具datax使用

最近做了一个项目，需要把oracle数据的表数据全量和增量抽取到mysql中，在调研了kettle和datax之后，果断选择了datax，datax为阿里开源的抽数工具，gitlub上可以下载，简单的配置一下
sliping123·2023-12-21 17:46

「Java工具类」BeanCopyUtil对象复制工具类

常用关键技术点，通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax
程序员阿宁·2023-12-21 01:37

数据同步工具

mysql--->es数据同步工具数据同步工具介绍基本介绍一下工具DataX,离线导入导出Sqoop,Sqoop是针对大数据而生的，专注于Hadoop(Hive)与传统的数据库数据的传递Sqoop(发音
光小月·2023-12-20 23:49

datax插件加载失败（插件[ftpreader,hdfswriter]加载失败）

WARNConfigParser-插件[ftpreader,hdfswriter]加载失败，1s后重试…Exception:Code:[Framework-12],Description:[DataX插件初始化错误
墨卿风竹·2023-12-20 09:48

DataX迁移MongoDB

DataX迁移MongoDB项目地址：GitHub-alibaba/DataX:DataX是阿里云DataWorks数据集成的开源版本。
雨打夏夜·2023-12-20 06:47

kafka同步mysql数据报Possibly consider using a shorter maxLifetime value.

但最近发现日志中总是报这么个warn:[13:43:53:135][WARN]-com.zaxxer.hikari.pool.PoolBase.isConnectionAlive(PoolBase.java:176)\-Dataxxxx-Fai
lucas1018·2023-12-19 03:29

Datax学习整理

一、简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(
耗子背刀PK猫·2023-12-18 02:53

Regression

importtensorflowastfimportnumpyasnp#去掉警告信息importosos.environ['TF_CPP_MIN_LOG_LEVEL']='2'#createdatax_data
cb_guo·2023-12-18 00:26

windows环境运行datax缺少本地hadoop环境报错：Could not locate executable null\bin\winutils.exe

目录一、完整报错二、解决三、临时解决方案四、其他一、完整报错十二月07,202310:01:05上午org.apache.hadoop.util.ShellgetWinUtilsPath严重:Failedtolocatethewinutilsbinaryinthehadoopbinarypathjava.io.IOException:Couldnotlocateexecutablenull\bin
zkkkkkkkkkkkkk·2023-12-17 04:08

七、 SpringBoot整合Spring Data JPA

而SpringDataxxx系列就是Spring这个生态圈对数据持久化层的整合。  SpringData是S
LiRS2001·2023-12-15 13:13

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

datax的mysql 到hdfs文件系统 --- 支持高可用

datax的mysql到hdfs文件系统上！
Java页大数据·2023-12-14 16:27

DataX，数据同步工具，亲测真香

有些项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个
程序员潇潇·2023-12-06 13:25

12、SQL注入——SQL报错注入

文章目录一、报错注入概述1.1报错注入1.2报错注入的前提条件1.3相关报错函数二、报错注入payload2.1利用extractvalue()函数进行报错注入2.2利用updataxml()函数进行报错注入
PT_silver·2023-12-06 12:45

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍：二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者·2023-12-02 10:22

2023.11.29 -hmzx电商平台建设项目 -核销主题阶段总结

目录1.准备源数据2.准备数仓工具进行源数据同步到ods层,本项目使用Datax3.使用Datax完成数据同步前建表时的方案选择3.1同步方式区别:3.2存储格式和压缩区别:4.在hive中创建表,共31
白白的wj·2023-12-02 09:53

大数据学习-离线数仓项目实战笔记（上）

1.前置1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0
ys4tnaf·2023-11-30 15:24

阿里云数据中台核心引擎

,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据（不负责收集数据到TableStore中），使用Fluentd服务（类似的服务还有kafka、LogHub、DataX
hsabrina·2023-11-30 00:30

2023鲲鹏应用创新大赛“金奖” - 云和恩墨zData X全栈国产数据库一体机方案

云和恩墨参赛作品《zDataX全栈国产数据库一体机方案》通过区域赛和全国半决赛的层层选拔，在鲲鹏一体机解决方案创新（泛政府）赛道中脱颖而出，最终在全国总决赛上斩获企业赛金奖！
云和恩墨·2023-11-28 16:02

Datax安装部署及读取MYSQL写入HDFS

一.DataX简介1.DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Appreciate(欣赏)·2023-11-26 09:25

C#，数值计算——有理函数插值和外推（Rational_interp）的计算方法与源程序

namespaceLegalsoft.Truffer{//////有理函数插值和外推///RationalFunctionInterpolationandExtrapolation///Givenavaluex,andusingpointerstodataxxandyy
深度混淆·2023-11-26 08:02

DataX将HDFS数据迁移到Mysql中NULL值的处理

的存储时为"\N"，Mysql的null值就是null，所以再进行数据迁移的时候需要考虑该问题方法一：方法一采用修改源码：具体实现代码块：//it'sallokifnullFormatisnull//解决datax
heheha_zj·2023-11-25 18:47

使用DolphinScheduler调度DataX完成Mysql到Mysql的数据同步

使用DolphinScheduler调度DataX完成Mysql到Mysql的数据同步DolphinScheduler集群的部署基础环境：Mysql（5.7.25）JDK（1.8.0_144）Zookeeper
下雨不撑伞丶·2023-11-25 13:35

18-Sqoop、DataX和Azkaban的介绍

Sqoop10.4Sqoop的简介10.4.1Sqoop产生背景对于工作中经常遇到的问题的提出如何将关系型数据库中某张表的数据抽取到Hadoop（HDFS/Hive/HBase）上；如何将Hadoop上的数据导出到关系型数据库中对于问题的传统的解决通常情况下是通过开发MapReduce来实现导入：MapReduce输入为DBInputFormat类型，输出为TextOutputFormat。导出：
大数据下的画像人·2023-11-25 07:07

【黑马甄选离线数仓day02_数据采集】

1.数仓工具使用-DataX1.1DataX介绍DataX是阿里推出的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
LKL1026·2023-11-24 16:02

大数据 DataX 详细安装教程

目录一、环境准备二、安装部署2.1二进制安装2.2python3支持三、DataX初体验3.1配置示例3.1.1.生成配置模板3.1.2创建配置文件3.1.3运行DataX3.1.4结果显示3.2动态传参
Stars.Sky·2023-11-24 16:27

Centos 安装Datax及Datax-web

异构数据的采集，方案还是比较多样，除了基于大数据平台的一些集成；简单的数据源，可以直接使用阿里开源的datax来实现；datax-web则是datax界面化操作的开源框架，集成了datax异构数据采集和任务调度的功能
江山如此多坑·2023-11-24 16:55

Datax 与 Datax-Web 安装部署

文章目录第一章：概述说明第二章：模块介绍第三章：安装datax1、下载地址2、上传解压3、运行自检4、报错处理5、安装成功第四章安装datax-web1.下载地址2、解压安装3、修改控制器datax-admin
运维&晓柏·2023-11-24 16:25

使用Datax可视化工具datax-web创建任务

一、首页二、点击项目管理，进入项目管理页，添加项目三、创建执行器四、创建数据源五、创建任务模板(此步骤是主要是为了后边构建任务的时候，为任务指定执行器)六、创建任务1.构建读取2.构建writer3.字段映射4.构建任务5.管理任务，执行任务6.查看日志
阿超努力学习·2023-11-24 16:53

DataX与DataX-Web的安装部署

DataX与DataX-Web的安装部署一、下载tar包二、上传tar包解压并安装三、上传解压datax-web四、创建datax-web数据库五、修改配置文件六、启动datax-web及访问七、记录实际开发过程中可能会遇到的问题一
明月清风，良宵美酒·2023-11-24 16:22

datax以及datax-web的可视化安装部署(基于Centos 7)

datax以及datax-web的可视化安装部署(基于Centos7)大家都很忙,闲话不多说直接开干------------------------datax安装官方或者本人分享的bdw盘下载链接：提取码
湘凪·2023-11-24 16:52

CentOS7 部署DataX及DataX-web

基础环境安装JDKMySQLPython2（本文使用默认2.x）JDK安装：CentOS安装JDKPython安装：CentOS安装PythonMySQL安装：CentOS安装MySQL注：MySQL必须允许dataX-web
爱码猿·2023-11-24 16:20

centos7安装DataX可视化工具DataX-web

centos7安装DataX可视化工具DataX-web安装环境：Centos7,JDK1.8,Python2.7.5,Datax最新版本，Datax-web-2.1.21.下载datax-web免编译压缩包
学习使我快乐，不学习使我更快乐。·2023-11-24 16:20

Datax-web版安装(含安装包)

文章目录Datax-web安装环境准备安装Datax安装Data-web启动datax-web软件资源Datax-web安装环境准备MySQL(5.5+)必选，对应客户端可以选装,Linux服务上若安装
飞天小老头·2023-11-24 16:15

大数据 DataX-Web 详细安装教程

目录一、DataX-Web介绍1.1DataX-Web是什么1.2DataX-Web架构二、DataX-Web安装部署2.1环境要求2.2安装2.3部署2.4数据库初始化2.5配置2.6启动服务2.6.1
Stars.Sky·2023-11-24 16:43

datax 同步本地csv到mysql

csv文件/root/tempdata/us_population.csvNY,NewYork,8143197CA,LosAngeles,3844829IL,Chicago,2842518TX,Houston,2016582PA,Philadelphia,1463281AZ,Phoenix,1461575TX,SanAntonio,1256509CA,SanDiego,1255540TX,Dall
jiayeliDoCn·2023-11-24 11:51

mysql 同步数据到 hdfs问题分析

dataxhdfswriter的部分问题Permissiondenied:user=xxxxx用户权限问题windows下hdfs目录被删除问题背景：准备用datax从mysql同步数据到hdfs，记录下遇到的问题
我不是文盲·2023-11-23 18:09

Datax的使用说明及入门操作案例演示

1.DataXDataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
嫣夜来·2023-11-23 14:39

软考-系统架构设计师-大数据架构设计理论与实践-练习题3

主Kafka再将数据写入HDFS分布式文件系统，而异构数据通过DataX/Sqoop写入HDFS。HDFS中的数据会通过Offline采用Hive、Map
shumeizwb·2023-11-23 06:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他