列式存储

520页（17万字）集团大数据平台整体解决方案-v1.0

完整资料领取见文末，部分资料内容：1.1.1 系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库Hyperbase和分布式文件系统
数字化方案·2023-01-08 07:52

大数据面试通关手册 | ClickHouse基础&实践&调优全视角解析

它采用列式存储结构，可使用SQL语句实时生成数据分析报告，另外它还支持索引，分布式查询以及近似计算等特性，凭借其优异的表现，ClickHouse在各大互联网公司均有广泛地应用。
王知无(import_bigdata)·2023-01-07 15:38

HIVE数据的压缩与存储格式

2.2压缩方式选择2.2.1Gzip压缩2.2.2Bzip2压缩2.2.3Lzo压缩2.2.4Snappy压缩2.3压缩参数配置3开启Map输出阶段压缩4开启Reduce输出阶段压缩5文件存储格式5.1列式存储和行式存储
巴涅波赫夫·2022-12-30 08:13

ClickHouse学习笔记

ClickHouse学习笔记前言基础入门版本列式存储vs行式存储行式存储，磁盘存储结构列式存储，磁盘存储结构列式储存的好处DBMS功能多样化引擎高吞吐写入能力数据分区与线程级并行主要配置文件数据类型数据库引擎
qq_道可道·2022-12-29 10:32

大数据技术之ClickHouse

大数据技术之ClickHouse一、ClickHouse入门1.1、列式存储1.2、DBMS的功能1.3、多样化引擎1.4、高吞吐写入能力1.5、数据分区与线程级并行1.6、性能对比二、ClickHouse
用生命研发技术·2022-12-28 08:31

clickhouse 常用语法规则优化策略详解

一、前言在之前的文章中，我们了解到clickhouse作为一款列式存储数据库，查询性能非常高效，一方面与其自身的存储引擎设计有关，另一方面，在执行查询语句时，底层做了大量的语法规则的优化，本文将详细介绍
逆风飞翔的小叔·2022-12-28 08:57

hive优化基础1

sethive.enforce.bucketing=true;设置reduce个数setmapreduce.job.reduces=3;hive表->orc和parquet-->ZLIB或snappyParquet是面向分析型业务的列式存储格式
大道独行之BIGDATA·2022-12-23 10:06

技术总结

===============看好:1.SQL语言,如果SQL语言加到编程语言排行榜,肯定是第一.NoSQL带来的优点不足抵消SQL缺失带来的缺点.2.HPVertica数据仓库,X86硬件+MPP+列式存储
weixin_33970449·2022-12-19 00:20

字节跳动数据平台技术揭秘：基于ClickHouse的复杂查询实现与优化

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度
字节数据平台·2022-12-18 08:12

升级JSONB列式存储，Hologres助力淘宝搜索2022双11降本增效！

在此背景下，阿里搜索推荐团队与Hologres深度合作，在技术上，通过将传统的TextArray升级为JSONB，并使用JSONB列式存储，相比去年双11实现查
aliyunhologres·2022-12-17 14:55

升级JSONB列式存储，Hologres助力淘宝搜索2022双11降本增效！

在此背景下，阿里搜索推荐团队与Hologres深度合作，在技术上，通过将传统的TextArray升级为JSONB，并使用JSONB列式存储，相比去年双11实现查
·2022-12-16 13:39

列存引擎 Tianmu 如何实现 Delete？| StoneDB 研发分享 #3

作者：李红建责编：宇亭在第一期研发分享中，我们解释了，为什么Tinamu作为一款列式存储引擎在初期不支持Delete功能的原因，然后对一些友商列式存储引擎的Delete方案进行了一些调研和总结，感兴趣的同学可以查看我们上一期的分享
·2022-12-14 14:22

26-ClickHouse使用、MergeTree的读写流程和六种常用表引擎

15.5.5数据存储1.列式存储理解数据文件以分区目录的形式被组织存放，所以在.bin文件中只会保存当前分区片段内的这一部分数据在MergeTree中，数据按列存储。
大数据下的画像人·2022-12-11 10:20

ClickHouse 版本升级

前言作为面向OLAP领域的新一代产品，ClickHouse每个版本之间都有着显著不同，具有高效的数据读写性能（列式存储与压缩）、高效的数据处理性能（向量化计算、列式组织、指令优化）、灵活的计算扩展能力（
oldba.cn·2022-12-11 10:50

ORACLE 数据库表空间的管理以及IM列式存储

与Non-CDB相比，CDB中的表空间主要有以下几个特点：一个永久表空间只能与一个容器相关联。在当前容器中创建表空间时，表空间将与该容器相关联。当CDB禁用本地UNDO模式时，CDB只能有一个活动的UNDO表空间，或者OracleRACCDB的每一个节点各有一个活动的UNDO表空间。当为CDB启用本地UNDO模式时，CDB中的每个容器都有子句的UNDO表空间。在ORACLERAC集群中，每个节点都
梦想家DBA·2022-12-06 16:22

子查询优化之 Semi-join 优化 | StoneDB 研发分享 #2

缘起StoneDB在列式存储引擎Tianmu的加持下，在大多数场景下相对MySQL都会有大幅性能提升。
·2022-12-03 12:16

数据仓库实践杂谈（十六）——渐变维

目录]第一章：概述第二章：整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章
老程序员一叶知秋·2022-11-30 19:32

面向OLAP的列式存储DBMS-13-[ClickHouse]的MergeTree表引擎原理解析

ClickHouse中最重要的表引擎：MergeTree的深度原理解析首先我们了解了MergeTree的基础属性和物理存储结构；接着，依次介绍了数据分区、一级索引、二级索引、数据存储和数据标记的重要特性；最后总结了MergeTree上述特性一起协同时工作过程。掌握了MergeTree即掌握了合并树系列表引擎的精髓，因为MergeTree本身也是一种表引擎。1概述表引擎是ClickHouse中的一大
皮皮冰燃·2022-11-30 00:55

HDFS的文件存储格式以及HDFS异构存储和存储策略

HDFS文件存储格式丰富的存储格式行式存储优点:写入是一次性完成的，消耗的时间比列式存储少，并且能够保证数据的完整性缺点:数据读取过程中会产生冗余数据，如果只有少量数据，此影响可以忽略，数量较大可能会影响到数据的处理效率
不知落叶何时落·2022-11-29 16:42

快速了解HIVE文件存储格式

快速了解HIVE文件存储格式一列式存储和行式存储二TEXTFILE格式三SequenceFilea、SequenceFile优缺点b、SequenceFile格式1、未压缩格式2、基于record压缩格式
真香IT·2022-11-29 16:04

Hive——解析Hadoop的压缩和文件存储格式

文章目录1.压缩配置1.1Hadoop的压缩编码方式1.2Map阶段压缩配置1.3Reduce阶段压缩配置2文件存储2.1行式存储和列式存储2.2存储格式说明2.3存储+压缩测试2.3.1存储测试2.3.2
皮皮皮皮皮皮皮卡乒·2022-11-26 09:02

大数据分析-考试复习

HBase是分布式列式存储系统，记录按列族集中存放。HBase数据库的BlockCache缓存的数据块中，普通的数据块不一定能提高效率。视频监控数据属于非结构
SpriCoder·2022-11-24 11:22

StarRocks从入门到精通系列一：StarRocks简介、系统架构和产品特性

：StarRocks简介、系统架构和产品特性一、StarRocks简介二、系统架构1.FE2.BE3.数据管理三、产品特性1.MPP分布式执行框架2.全面向量化执行引擎3.CBO优化器4.可实时更新的列式存储引擎
勇敢羊羊在飞奔·2022-11-21 22:38

hadoop列式存储和行式存储

列式存储和行式存储的区别压缩比较列式存储是按照列进行存储的，同一列的相邻的value的数据类型是一样，可以对value进行压缩。
Made in Program·2022-11-20 17:32

认识一下 ClickHouse

列式存储的好处就是当我们对列进行聚合操作时，效率会大大优于行式存储，而且由于每一列的类型都是相同的，所以对于数据更容易进行压缩，并且可以对不同类型的列选择更合适的压缩算法，以来节约磁盘资源，以及磁盘IO
辉常努腻·2022-11-20 04:32

【NoSQL数据库技术与应用】【课本代码】【课后题答案】【持续更新】

章初识NoSQL第2章文档存储数据库MongoDB第3章MongoDB数据库操作第4章MongoDB副本集第5章MongoDB分片第6章MongoDBGridFS第7章键值对存储数据库Redis第8章列式存储数据库
爱笑的冷面鬼·2022-11-07 07:57

hive与impala相关

orc是列式存储结构，（关系型
岁月的眸·2022-11-01 10:13

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行选择
cowjlymz7800977460·2022-10-24 10:11

猿创征文｜国产数据库[StarRocks]实战学习

StarRocks适合什么场景1.2、StarRocks基本概念1.3、StarRocks系统架构1.4、数据管理2、StarRocks安装部署3、SQL语句3.1、导入数据4、StarRocks表设计4.1、列式存储
杀神lwz·2022-10-08 18:08

Apache loTDB技术与架构-1

1前言ApacheloTDB是一款应用于工业物联网领域的时序数据库，其创立于中华人民共和国清华大学软件学院，loTDB使用列式存储、数据编码、预计算以及索引技术提供大规模的、基于时序的数据存储服务与数据管理服务
uesowys·2022-10-08 08:57

Hive数据格式-ORC

普通的存储格式，比如我们表格中有abc三列，像mysql按行存储则如下所示逻辑存储格式大数据引擎存储中，大部分都是采用列式存储，比如Hive、Hbasea、b、c各列数据会集中存放在一起，如下所示标准列式存储
那些年搬过的砖·2022-09-24 21:27

9.数据仓库搭建之DIM层搭建

2）在我们该项目当中，DIM层的数据存储格式为orc列式存储+snappy压缩。3）DIM层表名的命名规范为dim_表名_全量表或者拉链表标识（full/zip）。
Mmj666·2022-09-23 15:48

ClickHouse实战--clickhouse使用场景与原理解析

关注微信公众号【BigData512,了解更多大数据技术ClickHouse简介ClickHouse是Yandex提供的一个开源的列式存储数据库管理系统，多用于联机分析（OLAP）场景，可提供海量数据的存储和分析
阿华田512·2022-09-22 05:14

Hive-文件存储格式+压缩算法

image.png前置知识点行存储:适合插入列存储:适合查询存储格式textFile文本sequenceFile二进制parquet列式存储二进制(自带索引)orc格式(最好)ORC不是一个单纯的列式存储格式
Eqo·2022-09-17 11:01

clickhouse集群部署和分布式引擎实战

1.认识clickhouseClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)OLAP:OnlineAnalyticalProcessing联机分析处理系统列式存储2.单机部署官方文档安装
发哥讲Java·2022-09-15 16:20

Redis缓存数据库

目录NoSQLNoSQL特点常见的NoSQL数据库redisMongoDB行式存储数据库列式存储数据库redis简介安装redisredis启动服务前台启动提取信息后台启动启动方法通过客户端连接redisredis
小白菜00·2022-09-13 10:40

SparkSQL 存储优化

问题一：为什么说列式存储优化在sparksql场景中是非常重要？到底是优化CPU还是IO?
令狐兄D·2022-09-09 09:54

个推大数据降本提效实战分享-技术问答精选

个推透明存储实践列式存储（Column-orientedStorage）是大数据场景中面向分析型数据的主流存储方式。与行式存储相比，列式存储只提取部分数据列、同列同质数据，具有更优的编码及压缩方式。
个推技术·2022-09-05 14:25

什么是列式存储和行式存储

一、列式存储和行式存储列式存储是指一列中的数据在存储介质中是连续存储的；行式存储是指一行中的数据在存储介质中是连续存储的。
颜淡慕潇·2022-08-30 16:41

Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解

其中TEXTFILE、SEQUENCEFILE、AVRO都是基于行式存储，其它三种是基于列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候
皮哥四月红·2022-08-25 10:53

什么是谓词下推，看这一篇就够了

文章目录1.什么是谓词2.什么是下推3.什么是谓词下推4.一些常见的应用4.1传统数据库应用4.2Hive中的谓词下推4.3列式存储中的谓词下推今天有个小伙伴问我，什么是谓词下推，然后我就开启巴拉巴拉模式
鲁边·2022-08-25 10:22

hive的文件格式-RCfile

它结合了行存储和列存储的优点：首先，RCFile保证同一行的数据位于同一节点，因此元组重构的开销很低；其次，像列存储一样，RCFile能够利用列维度的数据压缩，并且能跳过不必要的列读取RCfile是HIVE的列式存储
龙明倩·2022-08-25 10:17

Hive存储格式之RCFile详解，RCFile的过去现在和未来

本节主要讲一下Hive存储格式最早的典型的列式存储格式RCFile。
鲁边·2022-08-25 10:46

【StoneDB Class】入门第二课：StoneDB整体架构解析

列式存储StoneDB创建的表在磁盘上是以列
·2022-08-17 17:17

【StoneDB研发日志】列式存储 delete方案调研

MySQL删除数据的方式以MySQL5.7为例，数据库删除数据的方式一共有以下三种：deletetruncatedrop以上三种方式都可以删除数据，但是使用场景是不同的。对于整个表进行删除的执行速度来说：drop>truncate>>deleteMySQL删除数据的方式-deletedelete是属于数据库的DML操作语言，一般是根据条件逐行进行删除。使用delete删除数据时，数据库只能删除数据
·2022-08-16 15:08

Hive存储格式之RCFile详解，RCFile的过去现在和未来

本节主要讲一下Hive存储格式最早的典型的列式存储格式RCFile。综述RCFile（RecordColumnarFile）文件格式是FaceBook开源的一种
鲁边·2022-08-14 20:00

微服务架构案例(03)：数据库选型简介，业务数据规划设计

列式存储Hbase、ClickHouse等。分布式存储Cassandra、Hbase、MongodDB等。键值存储Memcached、Redis、MemcacheDB等。图形
知了一笑·2022-08-08 23:44

【StoneDB join 算法分析】查询模块

1.背景介绍StoneDB采用基于知识网格技术和列式存储引擎。
·2022-08-05 18:01

数据源管理 | OLAP查询引擎，ClickHouse集群化管理

一、列式库简介ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），主要用于OLAP在线分析处理查询，能够使用SQL查询实时生成分析数据报告。
知了一笑·2022-07-27 22:37

SPARK Parquet嵌套类型的向量化支持以及列索引(column index)

背景本文基于Spark3.3.0列式存储Parquet文件越来越受到工业界的青睐，在delta以及Spark中应用广泛，具体的项目见:parquet-mr分析Parquet格式关于parquet的格式存储以及读取
鸿乃江边鸟·2022-07-20 22:22
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他