Sqoop列式存储

Apache Kudu 概念和架构

结合适当的数据模型设计，列式存储可以更
devilteam2006·2022-02-13 17:15

Sqoop数据导入/导出

1.从HDFS导出到RDBMS数据库1.1准备工作写一个文件sqoop_export.txt1201,laojiao,manager,50000,TP1202,fantj,preader,50000,TP1203
FantJ·2022-02-13 16:32

sqoop用于数据迁移

用法示例查看hive库中所有的表sqooplist-tables--usernamehive--password'XX'--connectjdbc:mysql://XX:3306/hive?
佛系小懒·2022-02-11 19:22

关于column famliy的认识

在网上收集的一些columnfamily的知识：对HBase有一些了解的人，或多或少听说过：HBase是一个列式存储的数据库，而这个列式存储中的列，其实是区别于一般数据库的列，这里的列的概念，就是列簇，
pamuk·2022-02-10 21:54

Sqoop之环境搭建

本文介绍了使用Sqoop导入MYSQL数据到Hive&Hbase之中。
阿坤的博客·2022-02-09 16:36

CentOS7.x 安装Sqoop

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
FantJ·2022-02-09 01:08

Sqoop往hive中导入导出数据的常用命令

一、导入hive的相关参数sqoophelpimport可以拿到这些参数二、导入数据常用命令sqoopimport\--connect'jdbc:mysql://192.168.228.128:3306
guaren2009·2022-02-06 20:21

hadoop学习笔记

技术变革技术驱动存储：文件存储==>分布式存储计算：单机==>分布式计算网络：万兆数据库：RDBMS==>NoSQL(HBase、Redis..)商业驱动从大量数据中获得价值技术概念数据采集：FlumeSqoop
异同·2022-02-06 08:13

六.Spark SQL使用数据源

Parquet是列式存储格式的一种文件类型，列式存储有以下的核心：可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。压缩编码可以降低磁盘存储空间。
临时_01e2·2022-02-06 01:55

Sqoop基础 （二）导入，导出，创建job

bin/sqoopimport\--connectjdbc:mysql://node03:3306/userdb\--usernameroot\--password密码\--delete-target-dir
做个合格的大厂程序员·2022-02-05 14:05

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
comer_liu·2022-02-05 12:57

1. Hadoop：环境搭建以及 MapReduce 程序运行

一、版本选择在最初学习和使用Hadoop的时候，我直接选用了最新的2.8.1版本，之后安装了Hive，此时整个系统还是可以正常运行的，但是当我安装Sqoop之后，问题出现了：在我使用Sqoop命令操作的时候
东方未曦·2022-02-05 08:25

sqoop如何指定pg库的模式(方法详解)

目录说明解决办法sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。
·2022-02-04 15:56

sqoop：导出MySQL数据至Hive时，Null值处理

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。Hive建表的时候null值转为空字符串CREATE
zyi·2022-01-30 08:22

TDSQL-A 技术架构演进及创新实践

面向分析型场景的极致性能优化，我们自研了列式存储，同时也支持行列混合存储模式。
·2022-01-24 11:40

Sqoop 的基本使用

这个图也好看，可爱转载自：Sqoop的基本使用目录:一、Sqoop基本命令1、查看所有命令2、查看某条命令的具体使用方法二、Sqoop与MySQL1、查询MySQL所有数据库2、查询指定数据库中所有数据表三
夜希辰·2021-12-28 22:35

ORC、Parquet等列式存储的优点

ORC和Parquet都是高性能的存储方式，这两种存储格式总会带来存储和性能上的提升。1.Parquet（1）Parquet支持嵌套的数据模型，类似于ProtocolBuffers，每一个数据模型的schema包含多个字段，每一个字段有三个属性：重复次数、数据类型和字段名，重复次数可以是以下三种：required(只出现1次)，repeated(出现0次或多次)，optional(出现0次或1次)
·2021-12-28 11:23

数据集成工具—Sqoop

数据集成/采集/同步工具@目录数据集成/采集/同步工具Sqoop简介Sqoop安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录
真好吃啊·2021-12-06 21:00

clickhouse使用的一点总结

clickhouse据说是用在大数据量的olap场景列式存储数据库，也有幸能够用到它在实际场景中落地。本篇就来说说简单的使用心得吧。1.整体说明架构啥的，就不多说了，列式存储、大数据量、高性能。
等你归去来·2021-12-03 09:00

Ubuntu Docker安装并使用的方法

仓库进行安装安装DockerEngine-Community三、使用Shell脚本进行安装卸载docker二、创建容器五、Docker中搭建大数据环境安装MySQL安装JDK安装Hadoop安装Hive安装SqoopDockerEngine-Community
·2021-12-01 11:20

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
jiangliu·2021-11-27 18:46

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

各技术实战开发文章整合（持续更新~~）

Spring项目——抵御跨站脚本（XSS）攻击Spring项目——Shiro和JWT技术二、Hadoop大数据开发Hadoop——集群搭建(步骤图文超详细版)Hadoop——安装MySQL、Hive以及Sqoop
HuiSoul·2021-11-12 00:50

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)

一、前情提要前面两篇文章我们已经成功搭建了Hadoop以及安装了Hive，Sqoop和Mysql数据库，现在我们就来利用Hadoop尝试做一个小实战，实现单词统计！
HuiSoul·2021-11-10 00:34

sqoop 创建job报空指针异常解决方法

在/sqoop/lib目录下有一个叫hive-exec-3.1.2.jar的包把它删除替换为java-json.jar下载链接：链接:https://pan.baidu.com/s/1r6jSXKX1wCh6
@微笑男孩·2021-11-04 19:05

sqoop job 定时实现增量、全量导入Hive

本人使用工具：Windows和虚拟机链接的工具为：MobaXtermWindows链接数据库工具：Navicat本人的数据库字段为：sqoop实现全量导入执行的语句为：sqoopimport--connectjdbc
@微笑男孩·2021-11-04 19:50

RadonDB ClickHouse on K8s 2.1.0 发布！

RadonDBClickHouse是一个分布式实时分析型列式存储数据库。具备高性能，支撑
·2021-11-04 17:20

Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版)

还没有搭建Hadoop，欢迎看看我前面的一篇文章：Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1
HuiSoul·2021-10-27 15:39

sqoop的简单使用

目录import传统关系型数据到导入到HDFS注意事项传统关系型数据到导入到HIVE提升关系型数据库导入到HIVE的执行效率传统关系型数据到导入到HBASEexportsqoop是一种数据集成工具，主要负责异构数据源的互相导入
啊帅和和。·2021-10-19 22:03

【Calcite】Apache Calcite 框架初探及概念详解

例如列式存储(HBase)、流处理引擎(Flink)、文档搜索引擎(Elasticsearch)等等。
·2021-10-18 18:13

2021-10-17

Hadoop并不只是单单一个技术，而是一个生态圈，里面包括Spark、Flume、HBase、Kafka、Sqoop、Hive、Oozie、Azkaban、Zookeeper。
bingo fighting·2021-10-17 17:50

ClickHouse连接IPv6

ClickHouse作为主流的OLAP列式存储数据库，在大数据的应用中越来越得到用户的青睐和认可，那么对IPv6的
·2021-10-16 12:36

源码分析 | ClickHouse和他的朋友们（6）MergeTree存储结构

接下来我们将一起来探索下ClickHouseMergeTree列式存储引擎
·2021-10-11 22:27

为在线数据库构建基于 Kudu 的实时数据同步

简述Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的成员之一。它专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
·2021-10-09 12:52

干货 | TDSQL-A核心架构揭秘

TDSQL-A作为领先的分析型数据库，是腾讯首款分布式分析型数据库，采用全并行无共享架构，具有自研列式存储引擎，支持行列混合存储，适应于海量OLAP关联分析查询场景。
·2021-09-09 12:28

揭秘TDSQL-A：兼容Oracle的同时支持海量数据交互

6月5日在“国产数据库硬核技术沙龙-TDSQL-A技术揭秘”系列分享中，5位腾讯云技术大咖分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、Fragment执行框架/查询分片策略/子查询框架以及向量化执行引擎等多个方面对
·2021-09-07 11:20

DataX、sqoop抽取TDSQL数据库中数据报Timeout的问题

由于此类问题虽然不常见，但是每次遇到排查都会花费大量的时间，整理整个case，供参考背景：客户报障他们只要一连接到TDSQL抽取数据，差不多10分钟左右就会出现超时中断，反复几次都不成功。连到MySQL却没有任何问题。排查过程：一、看到这个问题，确实比较懵，除了能看到客户用了我们的DCDB产品之外，不清楚发生了什么事。首先和客户确认，他们用的什么工具做的数据抽取，反馈是DataX。先了解一下Dat
·2021-09-06 20:47

TDSQL-A自研列存储及优化原理大揭秘

在“国产数据库硬核技术沙龙-TDSQL-A技术揭秘”系列分享中，5位腾讯云技术大咖分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、Fragment执行框架/查询分片策略/子查询框架以及向量化执行引擎等多个方面对
·2021-09-03 13:23

十问十答，带你全面了解TDSQL-A核心优势

在“国产数据库硬核技术沙龙-TDSQL-A技术揭秘”系列分享中，5位腾讯云技术大咖分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、分布式执行框架以及向量化执行引擎等多方面对TDSQL-A进行了深入解读
·2021-09-02 19:16

这就是TDSQL的向量化执行引擎？有效降低函数调用开销，提升CPU利用率

在“国产数据库硬核技术沙龙-TDSQL-A技术揭秘”系列分享中，5位腾讯云技术大咖分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、Fragment执行框架/查询分片策略/子查询框架以及向量化执行引擎等多方面对
·2021-09-02 19:42

TDSQL-A PostgreSQL 产品概述 功能

自研列式存储引擎，支持行存储和列存储，支持混合存储，支持高压缩比。新一代向量化执行引擎能提供高性能海量数据实时高效复杂查询分析能力。
·2021-09-01 22:23

磁盘管理-基本分区

固态硬盘：由多个闪存芯片加主控以及缓存组成的阵列式存储，属于以固态电子存储芯片阵列制成的硬盘。相对机械硬盘，读取速度更快，寻道时间更小，可加快操作系
xiaotanggao·2021-09-01 13:56

Lenovo x DorisDB：简化数据处理链路，极大提升 BI 分析效率

原始架构图：数据采集通过Sqoop读取RDBMS导入Hive。用Flume来同步日志文件到Hive。通过爬虫技术将网上数据爬取下来，存储到RDBMS，再由Sqoop读取RDBMS，导入到Hive。
·2021-08-19 00:00

腾讯云 TDSQL-A PostgreSQL版 - 产品概述

自研列式存储引擎，支持行存储和列存储，支持混合存储，支持高压缩比。新一代向量化执行引擎能提供高性能海量数据实时高效复杂查询分析能力。
·2021-08-12 21:43

腾讯云 TDSQL-A PostgreSQL版 - 产品功能

支持列式存储和多种压缩算法TDSQL-APostgreSQL版支持列式存储，客户可以根据自己的业务需求把表定义为列存表，一般建议对于大宽表及有高压缩需求的表可以设置为列存表。
·2021-08-12 21:43

教你如何使用FusionInsight SqoopShell

摘要：Sqoop-shell是一个Loader的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。
·2021-08-10 18:04

Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）

Flume跟Sqoop、Kettle有类似的地方但是又有不同，随后会详细分析。2基本架构及核心概念基本架构图【官网】：来自尚硅谷的资料，侵删，【
シ風·2021-08-08 20:45

Hudi自带工具DeltaStreamer的实时入湖最佳实践

背景传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越
·2021-08-02 15:09

硬核 | Sqoop入门指南

本篇文章，菌哥将介绍的一个操作最简单，同时也是在工作中使用频率极高的开源组件——Sqoop，希望您能在耐心看完之后，有所收获！首发链接：https://www.ebaina.com/
·2021-07-27 19:26

Hbase列式存储入门教程

目录1、逻辑结构2、物理结构3、增删改查4、应用场景5、参考资料HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。分布式是因为HBase底层使用HDFS存储数据，可扩展也是基于HDFS的横向扩展能力，作为大数据的存储当然支持海量数据的存储，NoSQL非关系型数据库表结构和关系型数据库（如Mysql）的逻辑结构、物理结构很不一样，性质特点、应用场景也不一样。1、逻辑结构1）Name
·2021-07-27 18:11
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他