sqoop

大数据bug-sqoop（二：sqoop同步mysql数据到hive进行字段限制。）

一：sqoop脚本解析。#！
宇智波云·2023-08-16 09:43

Flink_CDC搭建及简单使用

目前市面上的CDC技术非常多,常见的主要包括FlinkCDC,DataX,Canal,Sqoop,Kett
码猿小站·2023-08-15 16:50

技术点 lineux shell mysql hadoop hive flume sqoop zk

技术点1.linux2.shell3.mysql4.hadoop5.hive6.flume7.sqoop8.zk1.linux2.shell3.mysql4.hadoop5.hive6.flume7.sqoop8
lcatake·2023-08-15 12:40

大数据技术

数据采集传输主要技术分为两类，一类是离线批处理、另一类是实时数据采集和传输离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和KafkaSqoop：一款开源的离线数据传输工具，主要用于
金光闪闪耶·2023-08-14 21:12

成功解决DataX从Hive导出Oracle的数据乱码问题！

市面上可用的etl工具和框架很多，如来自于传统数仓和BI圈的kettle/informatica/datastage,来自于hadoop生态圈的sqoop/datax，抑或使用计算引擎spark/presto
笑看风云路·2023-08-14 18:30

使用sqoop将mysql数据导入到hadoop

Sqoop的安装也很简单。
集成显卡·2023-08-12 00:30

Hive On Tez

官方的部署方式是全局的部署，会影响到集群中其他的一些组件的使用经过各种尝试并做了一些配置修改，以下部署方式只用于hive不影响集群其他的MapReduce的使用，因为我这边的架构体系中有用到sqoop,
清风漾·2023-08-11 14:19

编程资料汇总

一、大数据大数据入门资料介绍：Hadoop、Hive、Spark、Storm、Flink、Hbase、Kafka、Zookeeper、Flume、Sqoop、Azkaban的简介、使用、基本结构组成。
v2hoping·2023-08-10 13:28

Ambari架构源码解析【转载】

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
岁月的眸·2023-08-09 01:31

Windows下安装Sqoop

Windows下安装Sqoop一、Sqoop简介二、Sqoop安装2.1、Sqoop官网下载2.2、Sqoop网盘下载2.3、Sqoop安装（以version：1.4.7为例）2.3.1、解压安装包到D
tttzzzqqq2018·2023-08-08 17:49

sqoop安装包部署及mysql导入hdfsdemo

start-allThisscriptisDeprecated.Insteadusestart-dfs.cmdandstart-yarn.cmdstartingyarndaemons2、执行从mysql导入hdfs数据命令C:\Users\Administrator>sqoopimport
gehaixia·2023-08-08 05:01

sqoop 从mysql 导入json格式中文乱码

问题描述使用sqoop脚本导入mysql的json格式数据的时候发生了中文乱码问题分析百度呗，谷歌呗，还能咋整https://www.freesion.com/article/8365585970/这篇就是说的是
Antg·2023-08-07 13:09

大数据-数据采集引擎sqoop介绍

Sqoop一、搭建实验环境：Oracle数据库测试数据：用户sh表：sales（订单表）---->自带大概92万条订单数据二、Sqoop:采集关系型数据库中数据项目：每天晚上12点，采集Oracle数据库中的数据
若兰幽竹·2023-08-05 08:36

sqoop导入数据‘‘--query搭配$CONDITIONS‘‘的理解

目录运行测试原理理解引言sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加$CONDITIONS，来实现并行运行mr的功能。
zxfBdd·2023-08-03 23:04

sqoop

一、bg可以在关系型数据库和hdfs、hive、hbase之间导数导入：从RDBMS到hdfs、hive、hbase导出：相反sqoop1和sqoop2(1.99.x)不兼容，sqoop2并没有生产的稳定版本
zdkdchao·2023-08-03 23:02

解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起

新搭建的一个Hadoop环境，用Sqoop批量抽数的时候发现特别慢，我们正常情况下是一个表一分钟左右，批量抽十几个表，也就是10分钟的样子，结果发现用了2个小时：查看yarn日志发现有如下情况：主要有两个情况
白杨Shayne·2023-08-02 19:50

大数据技术及大数据架构

大数据架构分为：数据来源层->数据采集层->分布式存储层->传输层->分析计算层->业务存储层->展示层共七层，基本使用flumesqoophivehadoopsparkflinkmysqlredislogstashelasticsearchdatax
玄明Hanko·2023-07-31 17:39

拉链表的详细实现过程

拉链表的制作过程4.1-初始化拉链表（首次独立执行）1、先生成10条原始订单数据（测试数据）CALLinit_data('2019-02-13',10,5,10,TRUE);[KG@hadoop102bin]$sqoop_import.shall2019
Bobby Wang·2023-07-31 05:08

使用DataX和sqoop将数据从MySQL导入Hive

使用DataX和sqoop将数据从MySQL导入Hive一、DataX简述二、sqoop简述三、需求背景四、实现方式3.1使用DataX将数据从MySQL导入Hive3.2通过sqoop将数据从MySQL
Davidchou3165·2023-07-31 05:36

sqoop将hive数据导入mysql报错

sqoop将hive中的数据导入到mysql中：sqoopexport\--connect'mysql的地址加端口/mysql中的表名?
x我有辣条跟我走。·2023-07-29 18:45

用sqoop导出hive parquet 分区表到mysql

用sqoop导出hiveparquet分区表到mysql确保你已经安装并配置好了Sqoop工具，并且可以连接到Hadoop集群和MySQL数据库。创建一个MySQL表来存储导出的数据。
墨卿风竹·2023-07-28 20:32

【Sqoop】Sqoop 1.4.7 安装

一、Sqoop介绍Sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。
w1992wishes·2023-07-28 17:46

Sqoop将hive处理的数据导出到MySQL

目录部署前提一、创建数据上传到hive中创建学生表数据:vimstu.txt创建课程表数据:vimcourse.txt在hive中创建学生表和课程表：上传数据到hdfs上的hive中：二、处理hive中的数据查询学生姓名和课程信息,创建结果表stu_result：插入数据：三、在mysql中创建结果表四、将hive中处理好的结果同步到mysql处理mysql乱码(1)处理mysql乱码(2)部署前
℡醒着か醉·2023-07-27 05:19

sqoop：把数据从mysql导入到hive中

用sqoop把数据从mysql导入进hive中首先你得在mysql中有个表，自己找一个有数据的表格sqoop代码sqoopimpot\--connectjdbc:mysql://wangtengfei:
清欢渡12138·2023-07-27 05:19

sqoop中hive数据导入mysql_使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入到mysql对应的表中。
于室·2023-07-27 05:18

使用SQOOP将hive的数据导入到mysql

使用SQOOP将hive的数据导入到mysql使用SQOOP将hive的数据导入到mysql我们一般会使用sqoop将mysql的数据导入到hive中,但是有时候也会有需求使用。
雪落成花·2023-07-27 05:17

大数据Sqoop借助Hive将Mysql数据导入至Hbase

目录1.BulkLoad介绍1.1.为什么要抽取1.2.为什么使用BulkLoad1.3hive导入Hbase1.3.1创建表1.3.2导入数据至Hive表2.从Hive中抽取数据到HBase2.1.准备数据2.1.1.将数据导入到MySQL2.1.2.将数据导入到Hive2.2.工程配置2.3.Spark任务2.4.运行任务1.BulkLoad介绍目标理解BulkLoad的大致原理步骤为什么要抽
赵广陆·2023-07-27 05:45

sqoop导入mysql数据到hive

前提：安装配置好sqoop、hivehive配置参考：Hive安装使用-菜鸟学院1、切换到sqoop目录下输入命令bin/sqoopimport\--connectjdbc:mysql://192.168
learn_step·2023-07-27 05:45

使用Sqoop实现Mysql到Hive的数据导入

使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。
QYHuiiQ·2023-07-27 05:15

Sqoop将Hive数据导入MySQL异常

1.问题描述：使用sqoop导数据导入mysql报错duplicateentryfor''keyprimary2.报错发生的可能原因分析：2.1原因一：主键冲突分析：1.查看日志，根据日志报错提示，排查
老薛的猫出海抓鱼不在这·2023-07-27 05:15

[sqoop]将hive查询后的数据导入到MySQL

一、知识点export:将Hive的表导入到mysql叫导出搜了很多，发现sqoop在hive导出到mysql时1）不支持where参数对数据进行过滤。
胖胖学编程·2023-07-27 05:44

Flink_CDC搭建及简单使用

目前市面上的CDC技术非常多,常见的主要包括FlinkCDC,DataX,Canal,Sqoop,Kett
m0_67402564·2023-07-26 23:51

ClickHouse（一）：ClickHouse介绍及OLAP场景特征

1.ClickHouse与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce
IT贫道·2023-07-26 11:05

docker搭建hadoop集群（为分布式、完全分布式）

然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。
时空无限·2023-07-26 00:23

数据同步工具调研sqoop、 datax、 waterdrop、flinkx、kettle、streamset、nifi

sqoopimage.pnghttps://www.cnblogs.com/xuyou551/p/7998846.htmldataxhttps://www.cnblogs.com/ywjfx/p/13853461
bigdata张凯翔·2023-07-23 15:27

使用sqoop将hive数据库导入至mysql

前言：本文由实现此博客过程中遇到的问题及解决办法整理而成。博客：淘宝双11数据分析与预测课程案例-步骤三:将数据从Hive导入到MySQL_厦大数据库实验室操作前准备数据数据放在/usr/local/data/comment.csv数据来源于：AmazonReviews:UnlockedMobilePhones|Kaggle大数据开发环境软件版本hadoop2.7mysql5.7hive2.1.0
思想在拧紧·2023-07-22 14:55

SQOOP 导出Hive数据到MySQL

基本知识：Sqoop导出的基本用法：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4的10.sqoop-export内容摘要
zxfBdd·2023-07-22 14:49

利用sqoop将hive数据导入导出数据到mysql

一、导入导出数据库常用命令语句1)列出mysql数据库中的所有数据库命令#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot
weixin_30810239·2023-07-22 14:19

sqoop导入mysql

进入mysql:mysql-uroot-p显示数据库：showdatabases;创建数据库：CREATEDATABASEJobDataCHARACTERSETutf8COLLATEutf8_general_ci;使用数据库jobdata：useJobData;创建表TABLEt_city_count：CREATETABLEt_city_count(cityvarchar(30)DEFAULTNU
Talmai_dev·2023-07-22 14:48

sqoop从Hive导出数据到MySQL

前提：在mysql的db03数据库下创建一个和导入数据结构一样的表结构：createtable25work01(   id int(20), namevarchar(30), passwordvarchar(30), sexvarchar(30), birthdayDATETIME, addressvarchar(30), emailvarchar(30))；Hive中的数据如下所示：导出命令：.
懒羊羊夸夸~·2023-07-22 14:47

利用sqoop从MySQL全量/增量导入数据到hive脚本

bashdate=`date-dtoday+"%Y-%m-%d"`if[x"$1"=x];thenecho"====使用自动生成的今天日期===="elsedate=$1fiecho"日期为：$date"sqoopimport
丨AD钙·2023-07-22 14:14

sqoop把hive中的数据导入mysql

使用sqoop将hive中的数据导入mysql中记录简单案例首先开启集群：start-all.sh在hive中建库建表，并插入一条数据来为自己做实验：验证一下，是否插入成功：在mysql中建表，并且要与
W~J~L·2023-07-22 14:10

2019-03-04 Sqoop 导入数据 错误For input string: "\N"

hive的的空值为\N,在sqoop加入--input-null-non-string'\\N'即可，在生成的代码里就有判断这个是空值了，就会替换成相应的什么了
Formatfa·2023-07-22 00:39

sqoop的使用笔记

sqoopimport/--connectjdbc:mysql://10.110.22.238/test_sqoop/#mysql数据库所在得到节点ip及数据库名--usernameroot/#数据库用户名
hasu·2023-07-21 08:21

java.net.ConnectException: 拒绝连接； For more details see: http://wiki.apache.org/hadoop/ConnectionRefu

遇到这种情况，先分析报错的代码在哪，什么情况所导致的，这是sqoop导入数据时，没有开启Hadoop集群，所以报“拒绝连接”，看到这几行代码，一定要检查自己的集群有没有开启Warning:/opt/module
tianyi6_6·2023-07-21 00:21

Sqoop导入命令

MySQL导入Hive直接导入bin/sqoopimport\--connectjdbc:mysql://127.0.0.1:3306/yqzb\--usernameroot\--passwordroot
枫叶梨花·2023-07-19 18:29

sqoop实战：sqlserver导入hbase命令

sqoop-list-databases--connect'jdbc:sqlserver://192.168.1.107;username=sa;password=********;'sqoop-list-tables
sfrem·2023-07-19 11:26

sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed

sqoop报错：ERRORtool.ImportTool:Errorduringimport:Importjobfailed图片：可能是文件权限修改hive数据仓库权限hadoopfs-chmod777
墨卿风竹·2023-07-18 23:44

大数据之DataX

DataX简介1.1DataX概述1.2DataX支持的数据源第2章DataX架构原理2.1DataX设计理念2.2DataX框架设计2.3DataX运行流程2.4DataX调度决策思路2.5DataX与Sqoop
小泽长不胖·2023-07-17 15:02

大数据复习笔记之hadoop浅析（二）

分布式文件系统）、MapRuduce（分布式运算编程框架）、YARN（运算资源调度系统）Hadoop业务的整体开发流程：下面按《Hadoop大数据实战权威指南》中顺序介绍1.数据采集1.1结构化数据采集工具sqoopp241Sqoop
席八·2023-07-17 06:17
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他