sqoop 第10页

数据仓库环境准备-Hadoop篇

大数据软件版本说明:hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqoop-1.4.6、hive-3.1.2、mysql-5.7.31

枫叶无言_1997·2023-04-18 01:44

大数据项目---电商数仓（二）

一.Azkaban_工作流程安排二.Azkaban_部署_executor三.Azkaban_部署_web四.Azkaban_部署_启停脚本五.Sqoop_导出事项六.Sqoop_Mysql建表注意事项七

ASDWYang·2023-04-17 21:06

实战大数据项目

存储日志数据集（HDFS）数据仓库构建（Hive）数据分区表构建数据预处理（Spark计算引擎）-使用Zeppelin进行写SQL订单指标分析Sqoop数据导出到传统数据库（Mysql）Superset

NeilNiu·2023-04-17 17:11

大数据知识点记录

大数据知识点记录_江湖行骗老中医的博客-CSDN博客HUE相当于Navicat的一个工具kudu（数据库）------>impalaHbase（数据库）------>HiveAzkaban调度------>jobsqoop

Jack_2085·2023-04-17 13:45

ACDC：开箱即用的多租户数据集成平台

技术团队最初使用ApacheSqoop以批的方式实现了这个能力。

万猫学社·2023-04-17 06:54

大数据技术之DataX

DataX介绍2.1DataX概述第3章DataX架构原理3.1DataX的设计理念3.2DataX框架设计3.3DataX支持的数据源3.4DataX运行流程3.5DataX调度策略思路3.6DataX和Sqoop

DK_521·2023-04-16 12:04

Sqoop的安装和配置

概述以下内容来自百度百科：Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库

Dcl_Snow·2023-04-15 22:41

电商数仓学习-DataX的使用

DataX前言一、DataX简介1.DataX概述2.DataX支持的数据源二、DataX架构原理1.DataX设计理念2.DataX框架设计3.DataX运行流程4.DataX调度决策思路5.DataX和Sqoop

自学大数据的菜鸡·2023-04-15 13:02

sqoop：mysql2hive传输数据出现问题

传输代码sqoopimport\--connectjdbc:mysql://bigdata30:3306/bigdata\--usernameroot\--password123456\--delete-target-dir

姚circle·2023-04-15 13:59

DataX 快速入门

Sqoop：HDFS与RDBMS之间的数据迁移&同步DataX：上

珺王不早朝·2023-04-15 05:17

Hive数据导出详解

二、六大帮派1.insert2.Hadoop命令导出到本地3.Hiveshell命令导出4.export导出到HDFS上5.Sqoop导出6.清除表中的数据（Truncate）——删库跑路总结一、数据导出是什么

·2023-04-14 22:13

sqoop数据导入

创建数据库mysql全表数据导入hdfsmysql查询数据导入hdfsmysql指定列导入hdfs使用查询条件关键字将mysql数据导入hdfsmysql数据导入hive创建数据库hive中创建user表createtableusers(idbigint,namestring)rowformatdelimitedfieldsterminatedby"\t";mysql中创建user表并添加信息CR

open_test01·2023-04-13 20:38

sqoop数据导出、脚本使用

目录准备表与数据数据导出脚本调用准备表与数据mysql表CREATETABLE`user`(`id`int(20),`name`varchar(20))ENGINE=INNODBDEFAULTCHARSET=utf8;hive表createtableusers(idbigint,namestring)rowformatdelimitedfieldsterminatedby"\t";数据导出在Sqo

open_test01·2023-04-13 20:38

sqoop的介绍与安装

简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres

open_test01·2023-04-13 20:08

Hadoop家族学习路线图

原文：https://blog.csdn.net/it_man/article/details/14899905要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop

凯睿看世界·2023-04-13 14:06

8. sqoop-1.4.7安装部署

环境说明：主机名：cmcc01为例操作系统：centos7安装部署软件版本部署方式centos7zookeeperzookeeper-3.4.10伪分布式hadoophadoop-3.1.3伪分布式hivehive-3.1.3-bin伪分布式clickhouse21.11.10.1-2单节点多实例dolphinscheduler3.0.0单节点kettlepdi-ce-9.3.0.0单节点sqoo

Toroidals·2023-04-13 02:30

sqoop中导入数据和导出数据（内有每条语句的截图，一目了然）

sqoop安装好后先测试一下[root@gree128conf]#sqoopversion[root@gree128conf]#sqoophelp[root@gree128conf]#sqoophelplist-databases

15-王井·2023-04-12 17:38

小米技术分享：Mysql数据实时同步实践

早期业务借助Sqoop将Mysql中的数据同步到Hive来进

JavaShark·2023-04-10 21:48

6、淘宝双11数据分析与预测

实验环境Java1.8HadoopHiveSparkSqoopEchartsIntellijideaVMwareWorkstationUbuntu16.04实验内容对文本文件形式的原始数据集进行预处理把文本文件的数据集导入到数据仓库

温醉否忆·2023-04-10 00:39

淘宝双11实时数据分析项目报告

kafkaspark-streaming集成kafka编写并运行spark-streaming程序(实时词频统计)编写并运行spark-streaming程序(累加词频统计)在kafka上查看数据统计结果批量计算步骤往hive中导入数据sqoop

阿坨·2023-04-10 00:28

Hadoop组件

--------------------zooKeeper-------------------------------kafka-----------------------------------sqoop

dianhe8193·2023-04-08 17:35

关于数据中台的深度思考与总结

数据采集工具Canal、DataX、Sqoop数据开发数据开发模块主要面向开发人

ITFLY8·2023-04-08 12:21

大数据项目之电商数仓DataX、DataX简介、DataX支持的数据源、DataX架构原理、DataX部署

DataX简介1.1DataX概述1.2DataX支持的数据源2.DataX架构原理2.1DataX设计理念2.2DataX框架设计2.3DataX运行流程2.4DataX调度决策思路2.5DataX与Sqoop

Redamancy_06·2023-04-08 09:14

sqoop的简易介绍

sqoop简介ApacheSqoop是一个用于在ApacheHadoop和关系型数据库或主机之间传输数据的工具。

健鑫.·2023-04-08 07:56

【大数据开发】sqoop报错汇总

持续更新ing解决办法：删除该目录解决办法：cp/usr/local/hive/lib/hive-shims-*/usr/local/sqoop/lib/解决办法：cp/usr/local/hive/lib

这个妹妹我见过·2023-04-08 07:25

数据仓库电商项目-整体架构

1.1技术选型数据采集：实时：flume-->kafka,DSG->kafka,离线：sqoop存储平台：底层存储HDFS，基础设施：hive（数据仓库基础设施）运算引擎：spark任务调度：azkaban

四月天03·2023-04-08 05:50

了解flume sqoop

Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统1、可以高速采集数据，采集的数据能够以想要的文件格式及压缩方式存储在hdfs上；2、事务功能保证了数据在采集的过程中数据不丢失；3、部分Source保证了Flume挂了以后重启依旧能够继续在上一次采集点采集数据，真正做到数据零丢失。Agent是Flume中最小的独立运行单位

琳小小小·2023-04-07 18:13

vm中sqoop的安装

下载、上传、解压、重命名和授权https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.

琳小小小·2023-04-07 18:12

新手入门大数据，认识大数据学习路线

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban

金光闪闪耶·2023-04-07 13:48

Sqoop 使用

Sqoop概要Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。链接各种DBMS到Hadoop的工具。

_oeo___·2023-04-07 02:53

sqoop ERROR manager.CatalogQueryManager: Failed to list databases java.sql.SQLException: Access deni

在用sqoop连接Mysql查看Mysql数据库报错：20/04/1911:08:30ERRORmanager.CatalogQueryManager:Failedtolistdatabasesjava.sql.SQLException

SupAor·2023-04-06 16:04

大数据架构

阿里出品b)采用Framework+plugin架构构建，幸运的是自带了常用的插件，比如MysqlReader、HdfsWriter等c)Standalone，无中心，每个实例之间无关联d)性能强劲、相对于sqoop

zhaoyang10·2023-04-06 16:47

hive hsql 漏斗模型_191_数仓项目_dwd层_Hive读取索引文件问题

Flume1.9+Kafka2.4.1+Sqoop1.4.7+MySQL5.7+Hadoop3.1.3+Hive3.1.2+Tez、Spark3.0.0+Ranger2.0+Presto+Kylin3.0

weixin_39746794·2023-04-05 14:31

sqoop从安装到操作

一．sqoop的简单概论1.sqoop产生的原因：A.多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。

人生之光荣在于屡仆屡起·2023-04-05 13:54

hive启动mysql服务器_sqoop安装及初体验（hive配置mysql服务器）

先要安装mysql服务centos6.5可以直接用yum下载具体可参考https://mp.csdn.net/postedit/80139841这篇文章----------------------------------------------------------------------------------------------------------------------------

被击中的弹药架·2023-04-05 06:07

Hive：cannot be cast to org.apache.hadoop.io.XXXWritable 数据类型解决方案

使用Sqoop导数据经常出现数据类型异常，或在ETL过程中发现，类型不同查询不出。可通过查看Parquet的元数据，查看Parquet文件数据与Hive表是否一致。不一致时，对应字段相关处理。

CesarChoy·2023-04-04 18:40

2.东软跨境电商数仓项目技术选型

东软跨境电商数仓项目技术选型、框架版本选型、服务器选型、集群规划文章目录东软跨境电商数仓项目技术选型、框架版本选型、服务器选型、集群规划1.数据采集传输技术选型1.1DataX和Sqoop比较1.2Maxwell

Mmj666·2023-04-04 12:10

Sqoop实现MySQL到HBase数据库的传输

MySQL数据库表展示,表名test4先在HBase创建一张表,创建如下执行以下命令sqoopimport--connectjdbc:mysql://192.168.42.1:3306/dsj?

人间咸鸭蛋。·2023-04-03 22:28

mysql定时数据传输_Navicat定时在MySQL与MySQL数据库之间自动传输数据

(测试环境需要用navicat(因为端口不通),生产环境直接用sqoop抽取过去就可以啦)主要有两个知识点：Navicat数据传输与Navic

程序猿创造营·2023-04-03 15:44

java.io.FileNotFoundException: File does not exist: hdfs ://sxt/home/sqoop-1.4.6/lib/commons-codec-1

错误显示要去hdfs寻找jar包，但是hdfs上面没有，直接将整个sqoop包上传到hdfs1.新建home目录hdfsdfs-mkdir/home2.上传sqoop到hdfs的home目录下hdfsdfs-put

北冥有鱼94851·2023-04-03 15:37

金融数据分析案例第六篇《爬取通过ajax异步加载数据的网站》

此系列文章是《数据蛙三个月就业班》股票数据分析案例的总结，整个案例包括linux、shell、python、hive、pycharm、git、html、css、flask、pyechart、sqoop等的使用

数据蛙datafrog·2023-04-03 13:56

SQL进阶--4__如何使用hiveSQL分离字符串中的字符和数字

如下数据：FLINK434354HADOOP67889HBASE500019KAFKA15999SQOOP13332HELLO57000SPARK13000需要将中文名称和数字单独提取出来，得到如下结果

KG大数据·2023-04-03 05:35

用户画像的技术选型与架构实现

数据整理：1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,也可以用代码来实现，比如spark的jdbc连接传统数据库进行数据的cache。

weixin_34248258·2023-04-03 03:35

sqoop 导入导出数据HDFS

sqoop导入导出数据HDFS1）导入数据库表数据到HDFS默认目录2）导入数据库表到HDFS指定目录导入导出数据到HIVE1）将MySQL表中的数据导入到hive中bin/sqoopimport--connectjdbc

空凯空凯空空凯·2023-04-02 22:39

Hadoop基础学习笔记系列（七）HDFS访问命令、API和应用

目录访问1通过命令行使用HDFS2应用编程接口NativeJAVAAPI：CAPIforHDFS：WebHDFSRESTAPI：3HDFSNFSGateway4其他ApacheFlumeApacheSqoop

ElsaWu1998·2023-04-02 19:29

小姐姐固然漂亮，可这份Hadoop核心教程也不差呀

小姐姐固然漂亮，可这份Hadoop核心教程也不差呀Sqoop导入关系数据库到HiveSqoop是apache下用于RDBMS和HDFS互相导数据的工具。

叫我老村长·2023-04-02 15:29

数据采集中间件技术对比V1.0

支持的上下游中间件2.4任务监控3MYSQL的BINLOG日志工具分析：CANAL、MAXWELL4有赞大数据：FLUME数据采集服务最佳实践5基于NIFI+SPARKSTREAMING的流式采集6基于OGG和SQOOP

陈舟的舟·2023-04-02 03:19

sqoop之旅3-sqoop导入

sqoop-importintroduction导入的主要语法是$sqoopimport(generic-args)(import-args)$sqoop-import(generic-args)(import-args

皮皮大·2023-04-01 10:38

sqoop安装与配置

安装包下载地址1.上传sqoop到master的/home/hadoop目录2.把sqoop压缩文件解压到/usr/local中，使用以下命令：sudotar-xvfsqoop-1.4.7.bin__hadoop

@Heartworm·2023-04-01 07:45

hive表直接入库本地mysql，用udf从将hive的查询结果直接写入mysql数据库中

，相信也有很多自学的大数据的人都跟我处境一样，在很多人已经在讨论大数据架构，实时分析，离线分析，优化等等问题的时候，我们还在闭门造车地玩着手里的那套hdfs+hbase+zookeeper+hive+sqoop

玉羽凌风·2023-04-01 06:07

推荐频道

sqoop