SQOOP

datax介绍及生产脚本配置

常用数据抽取工具：kattlesqoopdataxstreamsetsstreamsetskattle：偏向etl，数据会做处理sqoopdatax：偏向数据同步，数据不做处理直接拿streamsets
XDSXHDYY·2022-08-21 18:54

【ETL工具】-Kettle详细教程

市面上常用的ETL工具有很多，比如Sqoop，DataX，Kettle等。1.2Kettle简介1.2.1Kettle是什么Kettle是一款国外开源的ETL工具，纯
左美美 ￣　　·2022-08-21 12:40

数据集成工具的使用（五）---Kettle 从理论学习到熟练使用

往期好文推荐：数据集成工具的使用（一）—Sqoop从理论学习到熟练使用数据集成工具的使用（二）—DataX从理论学习到熟练使用数据集成工具的使用（三）—F
北慕辰·2022-08-21 12:35

大数据测试技术与实践之大数据技术生态总览

还使得大数据的技术体系变得非常复杂，可以划分为数据采集，数据存储，管理调度（包括资源管理、服务协调和工作流调度）、计算分析和组件应用1.数据采集：主要由关系型与非关系型数据采集组件，以及分布式消息队列等构成，如sqoop
来弹琴的小鸡·2022-08-15 09:07

数仓4.0（数据仓库系统）--续集二

目录十：全流程调度10.1Azkaban部署10.2创建MySQL数据库和表10.3Sqoop导出脚本10.4全调度流程10.4.1数据准备10.4.2编写Azkaban工作流程配置文件10.4.3Azkaban
JiaXingNashishua·2022-08-13 18:09

Sqoop (一) --------- Sqoop 介绍

目录一、Sqoop简介二、Sqoop原理三、Sqoop安装1.下载并解压2.修改配置文件3.拷贝JDBC驱动4.验证Sqoop5.测试Sqoop是否能够成功连接数据库一、Sqoop简介Sqoop是一款开源的工具
在森林中麋了鹿·2022-08-13 12:55

概念名词解释

基于查询：常用组件是sqoop、KAFKA，JDBCsource，思想是以ba
吃再多糖也不长胖·2022-08-10 13:36

Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化

优化整体思路如果资源充足就加资源加内存，调度链路优化，调整调度顺序，时效性要求高的模型先产出，数据接入模块，调优数据接入工具sqoop，datax模型设计质量不高，调整模型，提高质量和复用度，尽可能减少
四月天03·2022-08-10 13:03

数仓4.0总结

文章目录数仓4.0总结整体架构采集flume用法flume自定义拦截器flume配置文件sqoop用法碰到的问题hive无法使用load导入hdfs采集的数据vim本质是创建新文件hive仓库ODSDIMDWDDWSDWTADS
CODE20220318·2022-08-05 14:01

数仓4.0（二）------ 业务数据采集平台

目录一：电商业务简介1.1电商业务流程1.2电商常识二：业务数据采集模块2.1安装MySQL及配置2.2业务数据生成2.2.1连接Mysql以及建表2.2.2生成业务数据2.3安装Sqoop2.3.1安装
JiaXingNashishua·2022-08-05 14:29

Flink：实时数据处理（1.Flink概述）

2.数据处理的演变2.1传统数据处理架构2.1.1事务处理2.1.2分析处理（Hive）：MySQL->Sqoop->Hive2.2有状态的流式处理2.3流处理的演变2.3.1lambda架构
卖女孩的小火柴Jaffe·2022-08-02 09:03

sqoop-使用文档

文档主页Sqoop用户指南(v1.4.7)Sqoop用户指南(v1.4.7)目录一、简介2.支持的版本3.Sqoop发布4.先决条件5.基本用法6.Sqoop工具6.1.使用命令别名6.2.控制Hadoop
果不其燃·2022-08-01 07:20

Sqoop的工作原理

原文地址：https://www.itheima.com/news/20220105/171543.htmlSqoop是Apache旗下的一款开源工具，该项目开始于2009年，最早是作为Hadoop的一个第三方模块存在
不用打火机·2022-07-28 11:56

数据湖：数据库数据迁移工具Sqoop

系列专题：数据湖系列文章Sqoop（SQL-to-Hadoop）是Apache旗下的一款开源工具，该项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发
YoungerChina·2022-07-28 11:50

【学习笔记】大数据技术之Sqoop安装与使用

2.3Sqoop安装底层是mapreduce。
在学习的王哈哈·2022-07-07 15:53

2021-06-03 大数据技术之 Sqoop

第1章Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle
️小C·2022-07-07 15:52

尚硅谷大数据技术之Sqoop

一、Sqoop安装下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/测试Sqoop是否能够成功连接数据库bin/sqooplist-databases
风满楼i·2022-07-07 15:52

大数据技术之 Sqoop

文章目录1.Sqoop简介2.Sqoop原理3.Sqoop安装3.1下载并解压3.2修改配置文件3.3拷贝JDBC驱动3.4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4.Sqoop的简单实用案例
dwjf321·2022-07-07 15:21

【大数据】Sqoop简介

Sqoop简介Sqoop(发音：skup)是SQL-to-Hadoop的缩写，是一款开源的工具，主要用来在Hadoop和关系数据之间交换数据，可以改进数据的数据的互操作性。
debimeng·2022-07-07 15:50

大数据技术之Sqoop配置示例

大数据技术之Sqoop配置示例hdfstomysqlexport--connectjdbc:mysql://bigdatacloud:3306/test--usernameroot--password123
dgsdaga3026010·2022-07-07 15:50

大数据技术之Sqoop

大数据技术之Sqoop一.Sqoop简介二.Sqoop安装三.Sqoop应用1.全量导入1.1MySQL导入HDFS1.2MySQL导入到Hive1.3MySQL导入到HBase2.增量导入2.1append
卡农c·2022-07-07 15:19

【大数据系列零二】大数据时代下的数据同步利器Sqoop

一、sqoop概述环境要求：Hadoop，关系型数据库（如MySQL），SqoopScoop是什么？
Anlior·2022-07-07 15:19

数仓建模—指标体系

万字长文来聊一聊中台数据仓库之拉链表sqoop用法之mysql与hive数据导入导出关注公众号：大数据技术派
·2022-07-04 18:32

数仓建模—宽表的设计

万字长文来聊一聊中台数据仓库之拉链表sqoop用
·2022-07-04 18:02

Ganglia Sqoop DataX Azkaban

Sqoop何为Sqoop？Sqoop(SQL-t
HikZ.919·2022-07-04 12:55

数仓理论- 02 数据仓库架构

3.1.2内容ETL,ODS,CDM(DWS,DWD),ADS3.1.3ETL:数据同步模块从业务数据库(即数据源)抽取数据extract交互转换：进行清洗一级标准化transform加载load使用的工具:Sqoop
:Concerto·2022-07-04 12:18

大数据技术概述_第一章笔记

1.1.2大数据关键技术1.2代表性大数据技术1.2.1Hadoop1.2.1.1HDFS1.2.1.2MapReduce1.2.1.3YARN（重点）1.2.1.3hbase、hive、flume、sqoop
27878678678·2022-07-03 21:00

大数据：Flume和Sqoop

文章目录Flume和Sqoop一、Flume的功能与应用1.功能2.应用二、Flume的基本组成三、Flume的开发规则：四、Flume开发测试五、常用Source1.Exec2.Taildir3.其他
Xiao Miao·2022-07-02 09:52

Sqoop的简单使用

文章目录1.简介2.原理3.Sqoop简单使用1.导入数据1.RDBMS到HDFS2.RDBMS到Hive2.导出数据1.HIVE/HDFS到RDBMS3.脚本打包1.简介Sqoop是一款开源的工具，主要用于在
treesorshining·2022-07-01 08:39

Flink简介

第一章初识Flink大数据开发总体架构大数据开发总体架构数据传输层：常用的数据传输工具有Flume、Sqoop、Kafka。
日落_3d9f·2022-06-29 18:14

Ambari成为Apache顶级项目

ApacheAmbari能够对ApacheHadoop集群进行供应、管理和监控，已支持HDFS,MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig,Sqoop
刘江总编·2022-06-13 10:51

大数据项目学习（一）

采集：Flume/Kafka/Sqoop存储：Mysql/Hasoop/Hbase计算：Hive/Tez查询：Presto/Druid/Kylin可视化：Superset任务调度：Azkaban全流程调度集群监控
爱爱爱爱五月天·2022-05-28 02:50

大数据平台技术栈

1采集层和传输层采集层Sqoop在hadoop和关系型数据库之间转换数据。FlumeFlume是一个分布式的高可用的数据收集、聚集和移动的工具。
超哥的杂货铺·2022-05-25 07:03

教你使用Sqoop一次性将mysql中的十张表导入到hive中

SSM专栏（更新中）本期文章：Sqoop一次性将mysql中的十张表同步到hive中如果对您有帮助还请三连支持，定会一一回访！
it春和·2022-05-06 16:21

【Hadoop】9、Sqoop组件

Sqoop组件安装与配置Sqoop是Apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
王智刚·2022-04-30 13:00

大数据-离线数据处理

Hive管理数据数据清洗数据处理PV：访问量UV：独立访客数SV：独立会话数BR：跳出率NewIP：新增IP数NewCust：新增访客数AvgTime：平均访问时长AvgDeep：平均访问深度分析结果表通过sqoop
DayDayUp-Panda·2022-04-24 14:33

2020大数据开发工程师知识点整理（更新）

&A的整理，会在这两个星期内发出来，感兴趣的同学可以关注我哦~如果这篇博文在你面试的时候有帮助的话，欢迎回来还愿哦~目录写在前面javaHadoophdfsYarnhivezookeeperflumesqoopHBasejava1
艾姆鸥·2022-04-17 12:35

数仓建模—指标体系

万字长文来聊一聊中台数据仓库之拉链表sqoop用法之mysql与hive数据导入导出知识星球其实知识星球我以
大数据技术派·2022-04-14 15:45

hadoop之sqoop准备工作------>windows10安装mysql

一、软件安装1.下载地址：http://dev.mysql.com/downloads/file/?id=4672692.解压缩mysql-5.7.17-winx64.zip，我这里将文件解压到了E盘，放到了文件夹mysql5.7中。3.在安装目录下新建一个my.ini文件，然后用记事本打开输入mysql的基本配置：[mysql]#设置mysql客户端默认字符集[mysql]#设置mysql客户端
小虹尘·2022-03-28 07:16

华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践

背景传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。
·2022-03-25 10:09

大数据之 Hadoop 基本概念

—Hadoop是什么是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的储存和海量数据的分析计算问题广义上说，Hadoop是一个更广泛的概念，Hadoop生态圈——大数据技术生态体系Sqoop
程序少年不秃头·2022-03-25 07:27

sqoop导出数据export目标mysql数据类型有tinyint异常

sqoop导出指南https://sqoop.apache.org/docs...原文链接防止盗用：https://segmentfault.com/a/11...简单总结：如果使用sqoop-export
·2022-03-22 11:07

Jbd2：Hadoop

Jbd2：Hadoop1.发展历史2.主要特性3.部分组件3.1HDFS3.2HBase3.3Sqoop3.4Zookeeper4.实践操作4.1创建Hadoop用户4.2安装Java4.2.1安装jdk4.2.2
JxWang05·2022-03-18 07:45

mysql 数据区分大小写_Mysql的数据存储不区分大小写

，ALTER修改表字段区分大小写1Mysql存储不区分大小写带来的影响举例1)hive里存储的字段是区分大小写的2)mysql里存储，默认是不区分大小写的3)当将hive表里存储在hdfs上的数据通过sqoop
丛越·2022-03-18 05:21

hadoop概念和组成（hdfs、yarn、mapreduce）

HadoopDistributedFileSystem）2.资源管理系统YARN3.分布式计算框架MapReduceHadoop生态圈1.Hive2.pig3.Mahout4.Hbase5.Zookeeper6.Sqoop7
栖之·2022-03-18 05:19

MySQL数据库数据迁移到Hbase的几种方法

1、使用sqoop直接导入(1)创建Hbase表--1、如果用户表存在先删除hbase(main):013:0>disable'tbl_users'hbase(main):014:0>drop'tbl_users
undo_try·2022-03-08 07:16

Linux脚本loaddata,数据分析工作中shell脚本的使用

这篇文章主要通过工作中shell脚本案例,介绍shell脚本中常用知识点下面的这个脚本表示使用sqoop把生产数据库mysql中的商户交易数据导入到hive数据库，且生产数据库中商户交易数据是分库分表存放的
星光居士·2022-02-28 15:34

电商数仓描述_尚硅谷大数据项目之电商数仓（系统业务数据仓库）

3.2.5Sqoop导入数据异常处理1)问题描述：执行Sqoop导入数据脚本时，发生如下异常java.sql.SQLException:Streamingresultsetcom.mysql.jdbc.RowDataDynamic
知知呼呼·2022-02-28 15:04

零基础班第十八课 - Hive项目实战

第一章：上次课回顾第二章：离线处理过程中的大数据处理2.1MySQL数据准备2.2Hive数据准备2.3从sqoop导数据到Hive中去第三章：开始进行需求分析第一步获取商品基本信息第二步：统计各区域下各个商品的访问次数第三步
zhikanjiani·2022-02-28 11:19

数据仓库第二讲-数据仓库建模

每天数据2.HDFS业务数据–sqoop同步mysql的数据1.同步那些表就建立那些表2.表结构，需要哪些同步那些表的字段。按天进行分区。2.DIM层和DWD层DIM层DWD层需构建维度模
大数据学习爱好者·2022-02-28 10:58
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他