Sqoop列式存储

20180611早课记录28-Sqoop

1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支，各最新版本是什么?
K_un·2021-04-21 22:26

sqoop整合hbase

Sqoop整合HBasesqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去我们也可以通过sqoop导入数据到hbase
KujyouRuri·2021-04-19 11:22

全面解析大数据同步工具DataX与Sqoop的区别

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS
丨程序之道丨·2021-04-19 04:02

Apache sqoop

Hadoop---->RDBMS1.2sqoop安装安装sqoop的前提是已经具备java和hadoop的环境。
八爪鱼下水·2021-04-17 20:24

Flink集成数据湖之实时数据写入iceberg

此外由于列式存储格式如parquet或者orc在查询性能方面有着显著的提高，所以大家都会优先选择列式存储作为我们的存储格式。传统的这种架构看似不错，但是还是有很多没有解
大数据技术与应用实战·2021-04-14 20:14

Sqoop的安装与使用详细教程

本文我们介绍一个非常好用的数据传输工具——Sqoop。
·2021-04-14 20:05

五十八、Sqoop的常用参数及命令

上一篇文章我们讲述了Sqoop的安装已经一些基本操作，本文我们主要来看看它常用的一些参数和命令。
象在舞·2021-04-14 08:42

111思维模型：TRIZ创新模型一技术创新的催化剂

安徽院长：李翔2020年初，知名数据新闻公司Sqoop报告显示，三星以9413件、8668件和605件的数量，在专利批准、专利申请和外观设计领域，摘得2019年在美专利三冠王。
模型思维·2021-04-13 12:18

五十七、Sqoop的安装与使用

本文我们介绍一个非常好用的数据传输工具——Sqoop。
象在舞·2021-04-12 09:49

Sqoop数据转换问题和解决过程

Sqoop数据转换问题数据转换失败问题记录使用Sqoop数据转换工具将Hive数据库hoteldata中的rawdata表中的数据导出到MySQL中执行命令[root@hadoop~]#sqoopexport
筱白熊·2021-04-10 15:48

hive学习笔记之七：内置函数

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-30 11:43

hive学习笔记之六：HiveQL基础

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-25 11:52

hive学习笔记之五：分桶

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-24 15:56

hive学习笔记之四：分区表

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-23 13:15

数据搬运组件：基于Sqoop管理数据导入和导出

本文源码：GitHub||GitEE一、Sqoop概述Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)
·2021-03-22 19:00

hive学习笔记之三：内部表和外部表

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-22 14:29

数据搬运组件：基于Sqoop管理数据导入和导出

本文源码：GitHub||GitEE一、Sqoop概述Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)
·2021-03-15 13:34

Hadoop组件sqoop部署

1.安装sqoop#解压并改名[root@masterapp]#tar-zxvfsqoop-1.4.6-cdh5.5.2.tar-C/app/[root@masterapp]#mvsqoop-1.4.6
Mumuko_·2021-03-12 20:03

hive学习笔记之二：复杂数据类型

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-11 19:48

sqoop 1.99.7 导入导出数据

准备要导入的数据mysql创建表并插入数据--建表--学生表DROPTABLEIFEXISTSstudent;CREATETABLEIFNOTEXISTSstudent(s_idVARCHAR(20)COMMENT"学生编号",s_nameVARCHAR(20)NOTNULLDEFAULT''comment"学生姓名",s_birthVARCHAR(20)NOTNULLDEFAULT''comme
袭明·2021-03-11 06:00

hive学习笔记之一：基本数据类型

：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop
·2021-03-10 21:52

Hbase运行机制

本文思路Hbase是什么Hbase的优劣Hbase架构Hbase容错Hbase使用总结HBase是什么基于HDFS的列式存储NoSql数据库适合于非结构化数据存储的数据库Hbase的特点1.采用稀疏列式存储
青芒v5·2021-03-10 16:42

hadoop学习笔记6-sqoop

一.sqoop基础1.sqoop也是apache的项目2.sql-to-hadoop比如将mysql的数据导入到hdfs中，反过来也是以前我老记不住sqoop是干嘛的，但是把他分解成sql-to-hadoop
一直想成为大神的菜鸟·2021-02-24 22:41

硬核 | Sqoop入门指南

本篇文章，菌哥将介绍的一个操作最简单，同时也是在工作中使用频率极高的开源组件——Sqoop，希望您能在耐心看完之后，有所收获！首发链接：https://www.ebaina.com/
·2021-02-02 18:43

初来乍到 自我介绍

也就是所谓的程序员，我感觉大家都叫程序员，所做的工作，以及工资都是天地之差，下面和大家简单的分享一下我的工作毕业后我的第一份工作大数据分析师，业务背景是运营商，技术点用到mysql-sqoop-hive-mysql
萱仔加油鸭·2021-01-25 16:42

Clickhouse 入门

clickhouse简介ck是一个列式存储的数据库，其针对的场景是OLAP。OLAP的特点是：数据不经常写，即便写也是批量写。
·2021-01-24 16:39

pianaipj-真题宝典-2

（6）为什么用Sqoop导入业务数据？（7）元数据怎么管理的?（8）采集数据的时候针对不同的表分别是怎么处理的？（9）除了做宽表和降维，还有哪些方法来提高查询的效率（10）Oracle用过吗？
黄胖胖pang·2021-01-24 14:22

大数据电影可视化系统

项目链接:https://github.com/GoAlers/Bigdata-movie开发环境：IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop
GoAl的博客·2021-01-20 11:55

HBase到底是列式存储还是行式存储？

逻辑概念上，数据库表是一种二维的数据结构，具有行和列。但在内存、磁盘等物理存储上，数据一般是需要线性顺序组织的。所以为了存储数据库表中的数据，有了两种常见的组织方式：基于行的存储和基于列的存储。基于行的存储，是将整行数据连续存在一起。在基于行存储的表中，即使只需要读取指定列时，也需要先将对应行的数据读取到内存，然后再过滤目标列，这样会导致过多的磁盘IO、内存和时间开销，所以行式存储比较适用于每次需
数大招疯·2021-01-15 19:22

HBase到底是列式存储还是行式存储？

逻辑概念上，数据库表是一种二维的数据结构，具有行和列。但在内存、磁盘等物理存储上，数据一般是需要线性顺序组织的。所以为了存储数据库表中的数据，有了两种常见的组织方式：基于行的存储和基于列的存储。基于行的存储，是将整行数据连续存在一起。在基于行存储的表中，即使只需要读取指定列时，也需要先将对应行的数据读取到内存，然后再过滤目标列，这样会导致过多的磁盘IO、内存和时间开销，所以行式存储比较适用于每次需
数大招疯·2021-01-15 19:50

Sqoop安装与配置

Sqoop安装与配置一、了解Sqoop二、下载Sqoop安装包三、安装Sqoop四、配置Sqoop五、Sqoop基本命令六、示例一、了解Sqoopsqoop是Hadoop和关系数据库服务器之间传送数据的工具
Murmure__·2021-01-15 19:41

sqoop安装

大数据环境安装笔记Sqoop安装系统环境：centos7mininal首先下载sqoop的安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7
AO_TAO·2021-01-15 14:31

基于ALS的音乐分析及离线推荐系统的设计与实现报告

文章目录摘要数据说明相关技术介绍Sqoop概述Spark概述协同过滤推荐算法概述系统设计与实现数据分析热门推荐个性化推荐前台交互展示总结摘要在互联网时代，各类的音乐网站提供了成千上万的需求，满足了人们对于音乐的需求
阿坨·2021-01-14 20:33

Sqoop-学习笔记

文章目录前言1.Sqoop简介（1.4.6）2.原理3.JDBC驱动4.SqoopDemo4.1MySQL->HDFS4.2RDBMS->HIVE4.3RDBMS->HBase4.3HIVE/HDFS-
LeiKe_·2021-01-12 09:06

干货丨DolphinDB与MongoDB在时序数据上的对比测试

前者是列式存储的多模型数据库，主要用于结构化时序数据的高速存储、查询和分析。后者是文档型的NoSQL数据库，可用于处理非结构化和结构化的数据，可以根据键值快速查找或写入一个文档。
法规和规范化股份·2021-01-10 14:33

Sqoop Learn Use

1.1Sqoop简介sqoop即SQLtoHadoop，是一款方便的在传统关系数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本
楠风·2021-01-09 22:40

Sqoop Learn Use

1.1Sqoop简介sqoop即SQLtoHadoop，是一款方便的在传统关系数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本
楠风·2021-01-09 22:45

CDH环境搭建及部署

sDistributionIncludingApacheHadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop
这是方方方·2021-01-07 12:29

干货丨DolphinDB与MongoDB在时序数据上的对比测试

前者是列式存储的多模型数据库，主要用于结构化时序数据的高速存储、查询和分析。后者是文档型的NoSQL数据库，可用于处理非结构化和结构化的数据，可以根据键值快速查找或写入一个文档。
DolphinDB·2021-01-06 02:17

干货丨DolphinDB与MongoDB在时序数据上的对比测试

前者是列式存储的多模型数据库，主要用于结构化时序数据的高速存储、查询和分析。后者是文档型的NoSQL数据库，可用于处理非结构化和结构化的数据，可以根据键值快速查找或写入一个文档。
DolphinDB·2021-01-05 14:33

Flink SQL 实战：HBase 的结合应用

HBase作为Google发表BigTable论文的开源实现版本，是一种分布式列式存储的数据库，构建在HDFS之上的NoSQL数据库，非常适合大规模实时查询，因此HBase在实时计算领域使用非常广泛。
ApacheFlink·2021-01-04 16:23

Flink SQL 实战：HBase 的结合应用

HBase作为Google发表BigTable论文的开源实现版本，是一种分布式列式存储的数据库，构建在HDFS之上的NoSQL数据库，非常适合大规模实时查询，因此HBase在实时计算领域使用非常广泛。
ApacheFlink·2021-01-04 16:51

hive

hive目录hive简介基本语句表概念内部表外部表分区表分桶表事务表数据类型arraymapstruct常用操作函数UDF调优sqoop处理json简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表
## name·2021-01-02 16:37

列式存储格式之parquet读写

概述ApacheParquet是Hadoop生态系统中任何项目均可使用的列式存储格式，更高压缩比以及更小IO操作。
每天搬砖小伙子·2021-01-01 18:11

列式存储格式之parquet读写

概述ApacheParquet是Hadoop生态系统中任何项目均可使用的列式存储格式，更高压缩比以及更小IO操作。
每天搬砖小伙子·2021-01-01 18:57

hive从mysql导入数据量变多的解决方案

原始导数命令：bin/sqoopimport-connectjdbc:mysql://192.168.169.128:3306/yubei-usernameroot-password123456-tableyl_city_mgr_evt_info
·2021-01-01 16:00

sqoop export导出 map100% reduce0% 卡住的多种原因及解决

先看导入命令：[root@host25~]#sqoopexport--connect"jdbc:mysql://172.16.xxx.xxx:3306/dbname?
·2021-01-01 16:29

解决sqoop从postgresql拉数据,报错TCP/IP连接的问题

问题：sqoop从postgresql拉数据，在执行到mapreduce时报错Connectionrefused.CheckthatthehostnameandportarecorrectandthatthepostmasterisacceptingTCP
·2020-12-31 13:27

sqoop读取postgresql数据库表格导入到hdfs中的实现

最近再学习sparkstreaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。
·2020-12-31 13:56

解决sqoop import 导入到hive后数据量变多的问题

使用sqoopimport命令从postgresql导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。
·2020-12-31 13:56
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他