sqoop

hive表直接入库本地mysql，用udf从将hive的查询结果直接写入mysql数据库中

，相信也有很多自学的大数据的人都跟我处境一样，在很多人已经在讨论大数据架构，实时分析，离线分析，优化等等问题的时候，我们还在闭门造车地玩着手里的那套hdfs+hbase+zookeeper+hive+sqoop
玉羽凌风·2023-04-01 06:07

avro 序列化框架

1问题描述mysqldecimal类型，通过sqoop导入到hdfs过程中，当decimal精度小于等于18时，spark无法解析2原码片段avrofix类型需要byte位数根据decimal的精度确定
weixin_37042673·2023-03-31 23:26

【Hadoop大数据平台组件搭建系列（二）】——Sqoop组件配置

简介本篇介绍关于Hadoop大数据平台组件中sqoop组件的搭建软件版本信息sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmysql-connector-java-5.1.47
whoDDD·2023-03-31 19:07

大数据数据传输 Sqoop (四)

大数据技术之Sqoop一、Sqoop简介ApacheSqoop™是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
weixin_35688430·2023-03-31 19:36

大数据技术之Sqoop——SQL to Hadoop

一、简介sqoop（sqltohadoop）是一款开源的工具,主要用于在Hadoop（Hive）与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如:MSQL
five小点心·2023-03-31 18:04

Sqoop理论知识：介绍-产生背景-架构-数据导入导出流程

文章目录一、简介二、产生背景三、架构四、数据导入过程五、数据导出过程一、简介Sqoop是一个数据迁移工具。是一个MapReduce的代码框架。
weixin_49334432·2023-03-31 11:32

大数据技术原理与应用（第二章 大数据处理架构Hadoop）

MapReduce（分布式并行编程框架）Hadoop的特点Hadoop的应用编辑Hadoop版本的变化2.2Hadoop项目结构TezSparkHivePigOozieZookeeperHBaseFlumeSqoopAmbari2.3Hadoop
m0_37607242·2023-03-30 22:58

apache-atlas 深度剖析

支持对hive、storm、kafka、hbase、sqoop等进行元数据管理以及以图库的形式展示数据的血缘关系。•各种Hadoop和非Hadoop元数
张永清-老清·2023-03-30 18:18

用户画像的基本架构

整个用户画像技术架构图，1、数据源层MySQLl数据库表、日志文件2、数据存储层采集工具：Sqoop、Flume、Canal存储：HDFS、HBase、Hive、MySQL3、数据分析层主要使用SparkSQL
万里长江横渡·2023-03-30 09:37

DataX 简介及架构原理

Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异结构数据源之间稳定高效的数据同步功能-Sqoop
温岚万叶·2023-03-30 08:53

传统数据仓库--离线数仓逻辑和架构设计

架构图有空再补2.技术简介组件版本简介FLINK1.12.1分布式计算引擎HIVE3.1.2最常用的HQL数仓工具PHOENIX5.0.0HBaseSQL化查询分析工具SPARK3.0.1分布式计算引擎SQOOP1.4.7
北有榆树·2023-03-29 20:36

Canal-数据库同步工具-黑马

ProtocolBuffer系列化和java的Serializable序列化的区别canal和sqoop的区别：Sqoop:同步全量数据：能够实现对关系型数据的全量同步，但在很多业务场景下，由于数据量非常非常大
紫金小飞侠·2023-03-29 03:20

【HBase-Mysql】Mysql数据迁移至HBase

【HBase-Mysql】HBase数据和Mysql数据的相互迁移1）准备工作1.1.修改sqoop-env.sh中的配置文件1.2.在MySQL中添加测试数据2）MySQL数据导入到hbase中2.1
bmyyyyyy·2023-03-28 22:28

数据仓库架构详解

整合多个信息源的大量数据，借助数据仓库的分析能力，为企业指定决策，帮助企业改进业务流程、提高产品数量一般数仓分为离线数仓（spark）和实时数仓（flink）二、核心框架数据采集数据通过DataX或者sqoop
王博1999·2023-03-28 22:50

如何将HBase表导出到Mysql_从HBase(Hive)将数据导出到MySQL

从HBase(Hive)将数据导出到MySQL[日期：2013-04-26]来源：Linux社区作者：zreodown[字体：大中小]在上一篇文章《用Sqoop进行MySQL和DHFS系统间的数据互导》
Hura Bo·2023-03-28 22:17

大数据项目及实现

通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。
任嘉平生愿·2023-03-27 14:51

学习大数据Hadoop——心得体会

c、HBase：理解为Hadoopbase--3.大数据框架：a、数据的存储：hdfs/hive/hbaseb、数据的传输：flume/sqoopc、数据的计算：te
肉肉肉肉肉肉~丸子·2023-03-26 18:43

POSTGRESQL->HDFS 导数据

//----导数据rm-rf/data/hdfs-data/customer//data/sqoop-1.4.7/bin/sqoopcodegen\--connectjdbc:postgresql://
梵蒂冈教主·2023-03-23 17:17

Sqoop超详细环境搭建步骤，超简单一遍就懂，学就会

本次搭配的sqoop环境为sqoop-1.4.2sqoop的官方下载地址点击进入Sqoop官方下载地址一、开始搭建Sqoop安装环境1.进入sqoop的上传目录下进行sqoop的解压，解压到/root目录下
吃土的程序员·2023-03-23 02:26

Sqoop 安装配置（超详细）

文章目录1.下载2.解压3.添加环境变量4.配置Sqoop环境变量文件5.MySQL驱动6.拷贝Hive文件7.验证8.去除警告信息9.Sqoop学习集群其它生态安装与配置：Hadoop完全分布式搭建（
月亮给我抄代码·2023-03-23 02:55

Hue自动调度Oozie及sqoop驱动问题

一、基本入门配置环境-步骤-定时—傻瓜式入门报错信息日志访问路径定时任务之EL时间表达式二、遇到的问题（一）输出大小限制问题一般情况下204800足够用了，还报错的话就再加一个0修改输出大小默认是2048，在oozie-site.xml修改配置，重启oozie.action.max.output.data2048000（二）时区问题此链接解决时区配置问题（三）JDBC驱动问题1、hadoop&sq
小李和大数据·2023-03-23 02:25

用于生产环境Hadoop集群的搭建

01基本要求集群搭建，包含HadoopHA，hive，sqoop，spark及dolphinescheduler。
兴趣使然的码基·2023-03-23 02:23

sqoop导出solr数据_超详细的大数据学习的各个阶段

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容,保证零linux基础入门。如果你从没有使用过linux,别担心,本节内容可以让你入门。Linux认识linux如何使用vmware安装linux镜像认识linux的桌面环境、shell环境在she
weixin_39986741·2023-03-23 02:50

Sqoop的安装、配置与使用

本文目录如下：Sqoop的安装、配置与使用1.虚拟机环境准备2.Linux环境下安装Sqoop环境2.1安装Sqoop3.使用Sqoop进行数据导入导出3.1Sqoop与HDFS之间的导入导出3.2Sqoop
页川叶川·2023-03-23 01:30

（超详细）数据转换工具Sqoop的实战

数据转换工具Sqoop的安装与实战操作JunLeon——gobigorgohome目录数据转换工具Sqoop的安装与实战操作一、Sqoop的概述1、什么是Sqoop？
IT路上的军哥·2023-03-23 01:28

sqoop的环境搭建（超详细）

pwd=jyko提取码：jykosqoop的tar包：链接：https://pan.baidu.com/s/1BG91_LHwnQJI0EWMOgStQQ?
浩林ovo·2023-03-23 01:24

大数据框架(分区，分桶，分片)

把每天通过sqoop或者datax拉取的一天的数据存储一个区，也就是所谓的文件夹与文件。在查询时只要指定分区字段的值就可以直接从该分区查找即可。创建分区表的时候，要通
Impl_Sunny·2023-03-22 11:26

六千字长文:大数据框架(分区，分桶，分片),建议收藏

把每天通过sqoop或者datax拉取的一天的数据存储一个区，也就是所谓的文件夹与文件。
大数据左右手·2023-03-22 11:42

Flink CDC实时获取MySQL数据

常见的CDC组件有基于查询的Sqoop、KafkaJDBCSource，基于Bi
高国才·2023-03-19 11:58

IMPALA 解析JSON 结论： 无法用于where条件

最近MYSQL5.7更新支持JSON语法，于是使用SQOOP同步了数据到大数据平台，准备使用IMPALA来做分析但是发现IMPALA无法使用JSON用于where条件，只能用于select，不过我未尝试使用基于嵌套表去查询作为替代方案
会长大的幸福_8bf9·2023-03-17 18:40

Apache Sqoop正式退役？

意外发现前两天打算迁移一份数据，自然而想到了ApacheSqoop，遂打开Apache官网寻找下载链接，但是竟然没有找到他的踪影。
BigData之路·2023-03-17 16:56

sqoop增量导入hbase,索引同步更新(二)

在实际应用场景中可以适用sqoop将数据导入数据到hbase,为方便查询,使用phoenix映射hbase数据,如果表的数据量较小,不需要创建索引,如果数据量较大,需要在phoenix中创建索引以加速查询
cyclone_29·2023-03-17 13:29

安装sqoop

Sqoop：是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
思达滴·2023-03-16 18:48

shell脚本使用两个横杠接收外部参数

/demo.sh--helpsqoop程序开始运行：demo.shUsage:.
Saggitarxm·2023-03-15 11:11

sqoop1.4.7从oracle19c抽取数据提示 Unable to obtain the Oracle database version

前提:公司决定将Oracle版本从现在的11g升级到19c,中间涉及到sqoop的数据抽取,所以在测试环境中进行测试使用最简单的sqoop命令测试时没有发现任何问题,但是在脚本中sqoop使用了–direct
宇神丶·2023-03-14 23:56

电商数据仓库项目简介

github地址电商数据仓库详情学习攻略请查看hadoop安装hive安装hive常用命令完善中...项目踩坑请查看Linux卸载安装Mysql踩坑Linux报错只读文件系统（集群非法关机、断电）踩坑sqoop
如虎添·2023-03-12 02:40

大数据架构

移动计算比移动数据更划算HDFS--离线数据数据库同步经常用Sqoop，日志同步用Flume，打点采集的数据经过格式化转换后通过Kafka等消息队列进行传递。MapReduce
我的丁一之旅·2023-03-12 01:26

Sqoop基本操作 #sqoop#

一、MySql到HDFS1.初始化MySql数据createdatabasecompany;createtablecompany.staff(idint(4)primarykeynotnullauto_increment,namevarchar(255),sexvarchar(255));insertintocompany.staff(name,sex)values('Thomas','Male'
carryzheng·2023-03-12 00:13

【知识】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Cana
笔名辉哥·2023-03-11 22:57

hue 中使用 oozie workflow 运行 shell 脚本执行 sqoop 命令，报错 Launcher ERROR, reason: Main class [org.apache.o...

问题已验证的写有sqoop命令的shell脚本（将数据从mysql导入hive），在hue中添加到oozieworkflow中运行报错：LauncherERROR,reason:Mainclass[org.apache.oozie.action.hadoop.ShellMain
cooooper·2023-03-11 02:37

2018-06-14 Morning Study — Day031

4.sqoop是mrjob?5.我们常用的是sqoop1，那么对比sqoop2，这两者区别6.sqoop导入，可以根据SQL导吗？7.
LY_babc·2023-03-10 12:51

Sqoop详解

目录一、sqoop基本原理1.1、何为Sqoop？1.2、为什么需要用Sqoop？
Xiayebuliang·2023-03-10 09:50

[S002]TDH sqoop

scriptsshlogin：tdh01(ormanager)执行二进制文件source/etc/profilesource/opt/TDH-Client/init.shconfirm确认sqoop可用
JeffenCheung·2023-03-10 09:36

数据仓库面试题总结

关系建模与维度建模7维度建模的四个过程8数据分层9LZO索引文件失效10hive严格模式11hive中解析json串12全外连的第二种解决方式13原始数据扩展n倍14解决insertinto产生小文件问题15sqoop
迪奥不及你的美·2023-03-10 07:33

sqoop导入数据到hdfs权限不足

导入数据权限不足，导入hive失败背景：使用Sqoop从MySQL导入数据到Hive#导入MySQL数据到hivesqoopimport--connectjdbc:mysql://localhost:3306
_woami·2023-03-10 03:20

sqoop连接MySQL失败

使用命令报错：#测试能否成功连接数据库sqooplist-databases--connectjdbc:mysql://master:3306/?
_woami·2023-03-10 03:50

Sqoop job运行时出现Unsupported major.minor version 52.0

问题eg出现原因一句话总结——高版本编译的sqoopjobjar无法在低版本下运行。CDH在安装过程中，会自己下载jdk（5.15.0时是jdk1.7.0_67-cloudera）。
南知唔知·2023-03-09 09:29

实时数据同步工具＜Maxwell入门简介及原理解析、安装部署＞

文章目录一、Maxwell的定义二、Maxwell的工作原理三、Maxwell的安装部署简述：对于离线数仓项目中将MySQL中的数据同步到大数据平台使用的工具是sqoop，而我们在大数据处理中并不是只有离线计算
徐象·2023-02-26 06:36

核桃编程Delta Lake实时数仓应用实践

使用ApacheSqoop做全量数据同步，会对业务Mysql库/HDFS造成压力。使用ApacheSqoop做
fat32jin·2023-02-18 20:13

MySQL表导入hive表（一次性导入，增量导入）

前言如何实现将数据从MySQL表中导入hive表中，我在这里使用sqoop实现了数据导入，以下是完整的脚本实例，分别是一次性导入示例和增量导入示例。
府学路十八吖·2023-02-18 12:41
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他