列式存储

clickhouse集群部署和分布式引擎实战

1.认识clickhouseClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)OLAP:OnlineAnalyticalProcessing联机分析处理系统列式存储2.单机部署官方文档安装
发哥讲Java·2022-09-15 16:20

Redis缓存数据库

目录NoSQLNoSQL特点常见的NoSQL数据库redisMongoDB行式存储数据库列式存储数据库redis简介安装redisredis启动服务前台启动提取信息后台启动启动方法通过客户端连接redisredis
小白菜00·2022-09-13 10:40

SparkSQL 存储优化

问题一：为什么说列式存储优化在sparksql场景中是非常重要？到底是优化CPU还是IO?
令狐兄D·2022-09-09 09:54

个推大数据降本提效实战分享-技术问答精选

个推透明存储实践列式存储（Column-orientedStorage）是大数据场景中面向分析型数据的主流存储方式。与行式存储相比，列式存储只提取部分数据列、同列同质数据，具有更优的编码及压缩方式。
个推技术·2022-09-05 14:25

什么是列式存储和行式存储

一、列式存储和行式存储列式存储是指一列中的数据在存储介质中是连续存储的；行式存储是指一行中的数据在存储介质中是连续存储的。
颜淡慕潇·2022-08-30 16:41

Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解

其中TEXTFILE、SEQUENCEFILE、AVRO都是基于行式存储，其它三种是基于列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候
皮哥四月红·2022-08-25 10:53

什么是谓词下推，看这一篇就够了

文章目录1.什么是谓词2.什么是下推3.什么是谓词下推4.一些常见的应用4.1传统数据库应用4.2Hive中的谓词下推4.3列式存储中的谓词下推今天有个小伙伴问我，什么是谓词下推，然后我就开启巴拉巴拉模式
鲁边·2022-08-25 10:22

hive的文件格式-RCfile

它结合了行存储和列存储的优点：首先，RCFile保证同一行的数据位于同一节点，因此元组重构的开销很低；其次，像列存储一样，RCFile能够利用列维度的数据压缩，并且能跳过不必要的列读取RCfile是HIVE的列式存储
龙明倩·2022-08-25 10:17

Hive存储格式之RCFile详解，RCFile的过去现在和未来

本节主要讲一下Hive存储格式最早的典型的列式存储格式RCFile。
鲁边·2022-08-25 10:46

【StoneDB Class】入门第二课：StoneDB整体架构解析

列式存储StoneDB创建的表在磁盘上是以列
·2022-08-17 17:17

【StoneDB研发日志】列式存储 delete方案调研

MySQL删除数据的方式以MySQL5.7为例，数据库删除数据的方式一共有以下三种：deletetruncatedrop以上三种方式都可以删除数据，但是使用场景是不同的。对于整个表进行删除的执行速度来说：drop>truncate>>deleteMySQL删除数据的方式-deletedelete是属于数据库的DML操作语言，一般是根据条件逐行进行删除。使用delete删除数据时，数据库只能删除数据
·2022-08-16 15:08

Hive存储格式之RCFile详解，RCFile的过去现在和未来

本节主要讲一下Hive存储格式最早的典型的列式存储格式RCFile。综述RCFile（RecordColumnarFile）文件格式是FaceBook开源的一种
鲁边·2022-08-14 20:00

微服务架构案例(03)：数据库选型简介，业务数据规划设计

列式存储Hbase、ClickHouse等。分布式存储Cassandra、Hbase、MongodDB等。键值存储Memcached、Redis、MemcacheDB等。图形
知了一笑·2022-08-08 23:44

【StoneDB join 算法分析】查询模块

1.背景介绍StoneDB采用基于知识网格技术和列式存储引擎。
·2022-08-05 18:01

数据源管理 | OLAP查询引擎，ClickHouse集群化管理

一、列式库简介ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），主要用于OLAP在线分析处理查询，能够使用SQL查询实时生成分析数据报告。
知了一笑·2022-07-27 22:37

SPARK Parquet嵌套类型的向量化支持以及列索引(column index)

背景本文基于Spark3.3.0列式存储Parquet文件越来越受到工业界的青睐，在delta以及Spark中应用广泛，具体的项目见:parquet-mr分析Parquet格式关于parquet的格式存储以及读取
鸿乃江边鸟·2022-07-20 22:22

没错，列式存储非常牛。但是，Ta还可以更高效

很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。
不吃西红柿丶·2022-07-20 09:56

Hadoop生态圈介绍

mapReduce）分布式计算、（Yarn）资源调度与任务管理、Common2、Lucene：索引检索工具包3、Nutch：开源的搜索引擎4、HBase/Cassandra：基于google的BigTable开源的列式存储的非关系型数据库
月疯·2022-07-18 13:07

大数据之Hive实践分享之存储和压缩问题的详解

在我实际查看以后，发现集群的文件存储格式为Parquet，一种列式存储引擎，类似的还有ORC。
xinxindsj·2022-07-12 09:24

详解：Hive的存储格式与对比

的存储格式与对比官网：https://cwiki.apache.org/confluence/display/Hive/FileFormats对于很多的东西，还是你要多多观看官网，更加权威，一：行式存储和列式存储在这之前先补充一个概念
墨卿风竹·2022-07-12 09:19

Hive 文件格式详解

file_formatSEQUENCEFILE：生产中绝对不会用，k-v格式，比源文本格式占用磁盘更多TEXTFILE：生产中用的多，行式存储RCFILE：生产中用的少，行列混合存储，OCR是他得升级版ORC：生产中最常用，列式存储
beautiful_huang·2022-07-12 09:16

HIVE存储格式和压缩方式详解

HIVE存储格式和压缩方式文章目录HIVE存储格式和压缩方式一、介绍常用的压缩算法ZSTDLZOSNAPPYBZIP2二、HIVE可支持的压缩格式三、HIVE的存储格式行式存储：列式存储：HIVE支持的存储格式
牧码文·2022-07-12 09:45

个推大数据降本提效实战分享-Q&A精选

个推透明存储实践列式存储（Column-orientedStorage）是大数据场景中面向分析型数据的主流存储方式。与行式存储相比，列式存储只提取部分数据列、同列同质数据，具有更优的编码及压缩方式。
·2022-07-05 15:56

字节跳动数据平台技术揭秘：基于 ClickHouse 的复杂查询实现与优化

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度
·2022-07-01 16:04

字节跳动数据平台技术揭秘：基于 ClickHouse 的复杂查询实现与优化

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度
字节跳动数据平台·2022-07-01 16:00

社区动态 | Apache Doris 社区喜迎 4 位新晋 Committer 成员

Doris全面兼容标准的SQL语法，支持MySQL协议，拥有完备的分布式管理框架和MPP查询框架，并且提供列式存储、向量化执行、预聚合引擎、分级存储等众多高级特性。不仅能够轻松
ApacheDoris·2022-06-17 10:32

Apache Doris 社区喜迎两位 PPMC 成员

Doris全面兼容标准的SQL语法，支持MySQL协议，拥有完备的分布式管理框架和MPP查询框架，并且提供列式存储、向量化执行、预聚合引擎、分级存储等众多高级特性。不仅能够轻松
ApacheDoris·2022-06-17 10:01

什么是HBase？终于有人讲明白了

一、初识HBaseHBase是一个面向列式存储的分布式数据库，其设计思想来源于Google的BigTable论文。HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
Data跳动·2022-05-30 16:00

Clickhouse实时数仓建设

1.概述Clickhouse是一个开源的列式存储数据库，其主要场景用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
哥不是小萝莉·2022-05-29 21:00

为什么列式存储会被广泛用在 OLAP 中？

不知是否有小伙伴们疑问，为什么列式存储会广泛地应用在OLAP领域，和行式存储相比，它的优势在哪里？今天我们一起来对比下这两种存储方式的差别。
Data跳动·2022-05-17 17:00

spark sql加载parquet格式和json格式数据

Parquet是一种列式存储格式，可以被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。2.Parquet文件下载后是否可以直接读取和修改呢？
zhousishuo·2022-05-17 17:47

Spark SQL 操作 Parquet 类型文件

Parquet介绍ApacheParquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala
路飞DD·2022-05-17 16:52

Spark SQL的Parquet那些事儿.docx

Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。
浪尖聊大数据-浪尖·2022-05-17 16:37

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

在上一篇已部署StarRocks集群环境基础上，本篇以列式存储、稀疏索引开始对StarRocks表设计进一步学习，进而理解排序键、物化视图、位图索引、布隆过滤器索引，全面理解加速数据处理，并通过动手实操示例巩固效果
itxiaoshen·2022-05-14 01:00

从 Git 到 Databend Fuse Engine 存储引擎

开源地址：https://github.com/datafusela...前言这篇来介绍下Databend底座：FuseEngine，一个动力澎湃的列式存储引擎，DatabendFuseEngine在设计之初社区给它的定位是
·2022-05-11 17:54

Hadoop（四）C#操作Hbase

HbaseHbase是一种NoSql模式的数据库，采用了列式存储。
chester·chen·2022-05-02 19:00

MyBatis动态SQL如何实现前端指定返回字段

xml文件中resultMap的type改为第二种很笨的方法动态SQL实现前端指定返回字段问题描述在使用ClickHouse时，遇到需要根据业务需求，动态返回指定字段，从而充分利用ClickHouse列式存储的优势
·2022-03-31 17:12

大数据之路 --- Hbase（分布式数据库）

---->HBase数据库的特点：列式存储：按列存储海量存储：无单机存储量限制，分布式存储极易扩展：自动分区、非常容易根据数据量自动扩展高并发：支持高并发、随机快速读写稀疏：支持超宽列、不必每列都包含内容
Mai_Noe·2022-03-31 10:06

ClickHouse基础

ClickHouse基础一、clickhouse-简介1、ClickHouse优点2、ClickHouse缺点3、应用场景4核心概念（1）数据分片（2）列式存储（3）向量化（4）表（5）分区（6）副本（
weixin_52189442·2022-03-28 08:01

华为云FusionInsight MRS ClickHouse 增强特性介绍

功能上支持DDL、DML、数据备份恢复、权限控制、分布式管理等完备的DBMS功能，SQL基本与标准SQL兼容，支持丰富的函数和数据类型，具有强大的MergeTree表引擎，列式存储支持LZ4压缩，支持数据分片
·2022-03-22 10:55

Spark SQL1.2测试

支持从现有ApacheHive表以及流行的Parquet列式存储格式中读取数据，数据源API通过SparkSQL提供了访问结构化数据的可插拔机制（接口需要自己实现，后面附有）。数据源API
diaomu5377·2022-03-18 04:26

【无标题】

数据格式txtdoc文本文件xml/html标签的结构化数据存储配置信息jsoncsvparquet列式存储格式orc列式存储格式hdfs文件存储格式hdfs文件存储格式分为两大类行存储和列存储行存储,
jiayeliDoCn·2022-03-16 06:45

Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘

一、CK分布式表和本地表（1）CK是一个纯列式存储的数据库，一个列就是硬盘上的一个或多个文件（多个分区有多个文件），关于列式存储这里就不展开了，总之列存对于分析来讲好处更大，因为每个列单独存储，所以每一列数据可以压缩
张永清·2022-03-02 11:00

大数据框架之HBase详解

1.2HBase特点1.2.1海量存储1.2.2列式存储1.2.3极易扩展1.2.4高并发1.2.5稀疏存储1.3架构2HBase数据结构2.1RowKey2.2ColumnFamily2.3Cell2.4TimeStamp3HBase
xingchensuiyue·2022-02-28 11:17

10亿数据量的即席查询 spark 和 kylin的对比

再配合列式存储和一些索引，查询可以更快返回。要注意这里在线运算量
肥猫64·2022-02-28 11:14

大数据-Hbase

文章目录1、HBase基本介绍HBase的发展历程2、HBase与Hadoop的关系2.1、HDFS2.2、HBase3、HBase特征简要1）海量存储2）列式存储3）极易扩展4）高并发5）稀疏4、HBase
DayDayUp-Panda·2022-02-28 10:38

大数据OLAP框架对比

列式存储：通过按列存储提高单位时间里数据的I/O吞吐率，还能跳过不需要访问的列。索引：利用索引配合查询条件，可以迅速跳过不符合条件的数据块，仅扫描需要扫描的数据内容。
小小酥_LH·2022-02-25 11:20

一文了解Gauss数据库：开发历程、OLTP&OLAP特点、行式&列式存储，及与Oracle和AWS对比

摘要：华为在IT的底层架构，逐步搭建起自己的基础架构，建立华为生态。我们这次详解华为数据库，并对目前主流的数据库进行对比。只有对比，才能发现不同。数据库的重要性&华为推出新一代Gauss数据库数据库是计算机行业的基础核心软件，所有应用软件的运行和数据处理都要与其进行数据交互。数据库的开发难度，不仅体现在与其他基础器件的适配，更在于如何实现对数据高效、稳定、持续的管理。Oracle、微软的数据库之所
slivelight·2022-02-16 08:29

Spark SQL

创建DataFrames5.操作DataFrame6.视图7.创建Datasets二.使用数据源1.通用的Load/Save函数(load函数式加载数据，save函数式存储数据)2.Parquet文件(列式存储文件
Movle·2022-02-15 02:55

Apache Kudu 概念和架构

结合适当的数据模型设计，列式存储可以更
devilteam2006·2022-02-13 17:15
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他