SQOOP

Hadoop组件sqoop部署

1.安装sqoop#解压并改名[root@masterapp]#tar-zxvfsqoop-1.4.6-cdh5.5.2.tar-C/app/[root@masterapp]#mvsqoop-1.4.6
Mumuko_·2021-03-12 20:03

hive学习笔记之二：复杂数据类型

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-11 19:48

sqoop 1.99.7 导入导出数据

准备要导入的数据mysql创建表并插入数据--建表--学生表DROPTABLEIFEXISTSstudent;CREATETABLEIFNOTEXISTSstudent(s_idVARCHAR(20)COMMENT"学生编号",s_nameVARCHAR(20)NOTNULLDEFAULT''comment"学生姓名",s_birthVARCHAR(20)NOTNULLDEFAULT''comme
袭明·2021-03-11 06:00

hive学习笔记之一：基本数据类型

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-10 21:52

hadoop学习笔记6-sqoop

一.sqoop基础1.sqoop也是apache的项目2.sql-to-hadoop比如将mysql的数据导入到hdfs中，反过来也是以前我老记不住sqoop是干嘛的，但是把他分解成sql-to-hadoop
一直想成为大神的菜鸟·2021-02-24 22:41

硬核 | Sqoop入门指南

本篇文章，菌哥将介绍的一个操作最简单，同时也是在工作中使用频率极高的开源组件——Sqoop，希望您能在耐心看完之后，有所收获！首发链接：https://www.ebaina.com/
·2021-02-02 18:43

初来乍到 自我介绍

也就是所谓的程序员，我感觉大家都叫程序员，所做的工作，以及工资都是天地之差，下面和大家简单的分享一下我的工作毕业后我的第一份工作大数据分析师，业务背景是运营商，技术点用到mysql-sqoop-hive-mysql
萱仔加油鸭·2021-01-25 16:42

pianaipj-真题宝典-2

（6）为什么用Sqoop导入业务数据？（7）元数据怎么管理的?（8）采集数据的时候针对不同的表分别是怎么处理的？（9）除了做宽表和降维，还有哪些方法来提高查询的效率（10）Oracle用过吗？
黄胖胖pang·2021-01-24 14:22

大数据电影可视化系统

项目链接:https://github.com/GoAlers/Bigdata-movie开发环境：IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop
GoAl的博客·2021-01-20 11:55

Sqoop安装与配置

Sqoop安装与配置一、了解Sqoop二、下载Sqoop安装包三、安装Sqoop四、配置Sqoop五、Sqoop基本命令六、示例一、了解Sqoopsqoop是Hadoop和关系数据库服务器之间传送数据的工具
Murmure__·2021-01-15 19:41

sqoop安装

大数据环境安装笔记Sqoop安装系统环境：centos7mininal首先下载sqoop的安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7
AO_TAO·2021-01-15 14:31

基于ALS的音乐分析及离线推荐系统的设计与实现报告

文章目录摘要数据说明相关技术介绍Sqoop概述Spark概述协同过滤推荐算法概述系统设计与实现数据分析热门推荐个性化推荐前台交互展示总结摘要在互联网时代，各类的音乐网站提供了成千上万的需求，满足了人们对于音乐的需求
阿坨·2021-01-14 20:33

Sqoop-学习笔记

文章目录前言1.Sqoop简介（1.4.6）2.原理3.JDBC驱动4.SqoopDemo4.1MySQL->HDFS4.2RDBMS->HIVE4.3RDBMS->HBase4.3HIVE/HDFS-
LeiKe_·2021-01-12 09:06

Sqoop Learn Use

1.1Sqoop简介sqoop即SQLtoHadoop，是一款方便的在传统关系数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本
楠风·2021-01-09 22:40

Sqoop Learn Use

1.1Sqoop简介sqoop即SQLtoHadoop，是一款方便的在传统关系数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本
楠风·2021-01-09 22:45

CDH环境搭建及部署

sDistributionIncludingApacheHadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop
这是方方方·2021-01-07 12:29

hive

hive目录hive简介基本语句表概念内部表外部表分区表分桶表事务表数据类型arraymapstruct常用操作函数UDF调优sqoop处理json简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表
## name·2021-01-02 16:37

hive从mysql导入数据量变多的解决方案

原始导数命令：bin/sqoopimport-connectjdbc:mysql://192.168.169.128:3306/yubei-usernameroot-password123456-tableyl_city_mgr_evt_info
·2021-01-01 16:00

sqoop export导出 map100% reduce0% 卡住的多种原因及解决

先看导入命令：[root@host25~]#sqoopexport--connect"jdbc:mysql://172.16.xxx.xxx:3306/dbname?
·2021-01-01 16:29

解决sqoop从postgresql拉数据,报错TCP/IP连接的问题

问题：sqoop从postgresql拉数据，在执行到mapreduce时报错Connectionrefused.CheckthatthehostnameandportarecorrectandthatthepostmasterisacceptingTCP
·2020-12-31 13:27

sqoop读取postgresql数据库表格导入到hdfs中的实现

最近再学习sparkstreaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。
·2020-12-31 13:56

解决sqoop import 导入到hive后数据量变多的问题

使用sqoopimport命令从postgresql导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。
·2020-12-31 13:56

sqoop 实现将postgresql表导入hive表

使用sqoop导入数据至hive常用语句直接导入hive表sqoopimport--connectjdbc:postgresql://ip/db_name--usernameuser_name--tabletable_name
·2020-12-31 13:55

大数据框架原理简介

针对上篇文章遗留问题联邦学习之一几亿级别的数据量架构如何设计且如何实现要解决这个问题那么咱首先要会大数据处理框架的相关内容这篇文章咱们走进大数据处理的世界首先咱们要理解大数据相关的概念和原理才能很好的使用这些组件和设计大数据处理架构flumesqoop
平凡人笔记·2020-12-30 15:58

shell脚本使用两个横杠接收外部参数的方法

/demo.sh--helpsqoop程序开始运行：demo.shUsage:.
·2020-12-24 13:44

Sqoop的安装与实践（mysql数据导入hdfs）

下载官网：http://sqoop.apache.org/下载：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压tar-zxvf/home/sqoop/sqoop-1.4.7
shine_du·2020-12-23 14:29

sqoop建表_Sqoop基础教程

1,什么是Sqoop?
weixin_39625305·2020-12-20 14:49

大数据实战记录

Yarn资源管理HBaseHBase基本操作HBase运维和优化ZooKeeperHiveHive基本操作HiveSQL大全Hive运维管理Hive备份与恢复Hive参数调优Impala&PrestoSqoopSpark
Beth_Chan·2020-12-14 16:54

oracle和mysql数据实时同步_MySQL数据实时同步实践

早期业务借助Sqoop将Mysql中的
weixin_39562197·2020-12-05 09:49

CDH 6.3 大数据平台搭建

sDistributionIncludingApacheHadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop
只是甲·2020-12-04 18:18

一篇文章搞懂数据仓库：常用ETL工具、方法

二、ETL&ELT三、常用的ETL工具3.1sqoop3.2DataX3.3Kettle3.4canal3.5StreamSets四、ETL加载策略4.1增量4.2全量4.3流式小编有话一、什么是ETL
明月十四桥·2020-12-04 14:10

sqoop基础

sqoop基础sqoop的含义是sqltohadoop，目的是实现关系型数据库与hdaoop之间的数据转换Linux版安装教程到清华镜像下载sqoop安装包解压以下载的安装包tar-zxvf安装包路径-
donger__chen·2020-11-29 22:55

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
java_small_ant·2020-11-23 00:12

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
SpringForAll社区·2020-11-23 00:00

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
java_small_ant·2020-11-22 23:05

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
SpringForAll社区·2020-11-22 23:34

Spark 之 UDTF

文本内容01//zs//Hadoopscalasparkhivehbase02//ls//HadoopscalakafkahivehbaseOozie03//ww//Hadoopscalasparkhivesqoop
qq_2631218300·2020-11-18 09:00

sqoop导出时拒绝链接

使用sqoop导入导出时总是拒绝连接。排查问题，发现每次启动sqoop脚本进行工作时，MySQL服务会自动关闭。经查阅，问题出在hive表中，由于我的hive表进行过不正确的修改分隔符操作。
如虎添·2020-11-11 11:29

大数据技术和python开发工程师

数据库采集：流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle也依然充当着许多企业的数据存储方式。当然了，目前对于开源的Kettle
stay_foolish12·2020-11-02 10:19

黑猴子的家：Sqoop list-databases

1、案列[victor@node1sqoop-1.4.7]$bin/sqooplist-databases\--connectjdbc:mysql://node1:3306/\--usernameroot
黑猴子的家·2020-10-11 10:09

idea工具

ApacheSqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。ApacheSqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。
逃之夭夭li·2020-10-10 20:14

2020.9.29课堂笔记(Sqoop介绍及数据迁移)

一.Sqoop概述Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具：官网链接将数据从RDBMS导入到HDFS、Hive、HBase-从HDFS导出数据到RDBMS-使用MapReduce
超可爱慕之·2020-09-29 19:56

论坛日志分析：Flume+MapReduce+Hive+Sqoop+MySQL

（1）使用Flume-ng的spooldir类型的source来监听Linux文件系统上的一个目录，使用hdfs类型的sink将日志收集到hdfs上。这个flume-ng的agent配置文件a4.conf的内容如下。#定义agent名，source、channel、sink的名称a4.sources=r1a4.channels=c1a4.sinks=k1#具体定义sourcea4.sources.
尚能饭否·2020-09-17 12:37

Hadoop生态圈部署

文档包括：HadoopHA部署Zookeeper安装Hive组件部署Hbase组件部署Sqoop组件部署Flume组件部署spark组件部署storm组件部署kafka组件部署MongoDB部署下载地址
Jack-yuan·2020-09-17 07:13

Hudi原理 | Apache Hudi 典型应用场景介绍

例如你可以读取MySQLbinlog日志或Sqoop增量导入，并将它们应用在DFS上的Hudi表，这比批量合并
大数据技术架构·2020-09-17 05:38

sqoop将pgsql导入数据hive问题（ERROR orm.ClassWriter: Cannot resolve SQL type 1111）

解决sqooppgsql数据导入到hive中uuid无法转化的问题错入如下解决1：如果有有精力和时间的话，可以去sqoop的jar中中找到ClassWriter类，然后去添加上uuid类型转化成hive
zahuali·2020-09-16 19:20

Could not find or load main class org.apache.sqoop.Sqoop (sqoop 1.4.7 & hadoop 2.7.7)

1.sqoop下载：http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz(一定一定要选择bin
xmuyong·2020-09-16 19:56

Java使用sqoop连接Postgre库的参数注意事项

sqoop的jar包连接Postgre库的参数注意事项全网仅此一家参数:schema的使用连接Postgre库的代码示例另外我自己修改了sqoop-1.4.5的jar包源码全网仅此一家参数:schema
ZeroXu0·2020-09-16 19:22

使用sqoop导入postgresql数据到Hbase

Appach的sqoop（发音：[skup]）就是基于这样的需求而诞生的，本文详细记录了一个通过sqoop将数据从postgresql迁移到Hbase的例子。
点火三周·2020-09-16 19:25

【Hadoop】关于Sqoop导出数据到postgresql时schema的设置问题

说明使用sqoop导出导入数据非常的方便，但是对于postgresql(简称PG库)时就碰到了一个问题，pg库是三层结构的database——schema——table。
sdut菜鸟·2020-09-16 19:42
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他