列式存储

数仓sql小技巧（一）

所以没有进行分区，，也没有才有压缩和列式存储。采用的数据装载语句也是insertinto，而不是insertoverride。但这样就会带来一个在hdfs中非常严重的问题——小文件过多。
Intelia·2020-08-19 16:41

漫谈SIMD、SSE指令集与ClickHouse向量化执行

前言ClickHouse之所以会像闪电一样快（"blazingfast"），是多方面优化的结果，包括且不限于：高效且磁盘友好的列式存储，高效的数据压缩，精心设计的各类索引，并行分布式查询，运行时代码生成等
LittleMagics·2020-08-19 07:40

Druid基础介绍

数据结构优化，采用了列式存储和位图索引。高可用架构，系统无单点，支持滚动升级和在线扩
joey小天使·2020-08-18 20:11

大数据系统常用文件存储格式File format

常见的文件存储格式有行式存储，列式存储和混合式存储。在大数据系统中，列式存储和混合式存储更常见。对于HDFS这样的文件存储系统来说，其实并不关心存储的是什么形式的存储文件。
OnlyQi·2020-08-18 14:03

Hive：数据查询（10.压缩和存储）

查看1.2jar包准备1.3jar包安装1.4编译源码2.Hadoop压缩配置2.1MR支持的压缩编码2.2压缩参数配置3.开启Map输出阶段压缩4.开启Reduce输出阶段压缩5.文件存储格式5.1列式存储和行式存储
卖女孩的小火柴Jaffe·2020-08-18 12:41

HBase的优点和缺点

2）列式存储这里的列式存储其实说的是列族（ColumnFamily）存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。3）
都市狼人·2020-08-18 12:53

SparkSql概述

需要Sql的原因：1.事实上的标准2.易学易用3.受众面大Shark：HIveontezHiveonmapreduceHiveonSparkshark推出：欢迎，基于spark，基于内存的列式存储，与hive
慧有未来·2020-08-18 11:34

elasticsearch hbase

elasticsearchhbase接下来是学习时间hbase是一个分布式的数据库主要作用：海量数据的存储和准实时查询一.Hbase的应用场景和特点大数据类的场景、容量大、列式存储多版本扩展性HBase
紫沐星·2020-08-18 10:16

什么是列式存储数据库

引言：对我在理解列式存储、以及数据模型、存储模型间关系很有帮助的一篇文章。
努力努力再努力呀·2020-08-16 09:49

Dremel made simple with Parquet（CN）

列式存储是在并行RDBM中优化分析工作负载的流行技术。在学术文献以及几个商业分析数据库中都充分记录了存储和处理大量数据的性能和压缩优势。目的是通过仅从磁盘读取查询所需的数据来使I/O降至最低。
limstorm·2020-08-16 00:14

Parquet列式文件存储格式

一、Parquet是什么Parquet的灵感来自于2010年Google发表的Dremel论文，文中介绍了一种支持嵌套结构的存储格式，并且使用了列式存储的方式提升查询性能，在Dremel论文中还介绍了Google
limstorm·2020-08-16 00:14

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）

文件存储格式（TEXTFILE、ORC、PARQUET三者的对比）综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储
寞恒·2020-08-15 13:29

【SAP HANA】新建表以及操作数据（3）

一、可视化新建表然后输入所需栏位，设置好类型和长度：上图右上角可以看到类型是ColumnStore，代表列式存储：点击Indexes的页签，设置索引：FurtherProperties页签：然后执行右上角的按钮
new0801·2020-08-14 18:15

mysql各版本在线增加与删除字段

增加删除字段时，可进行查询操作，修改操作将锁表，而发现mysql5.6的innodb支持查询和更新，在块mysql5.6做的很强大，另外infobright的增加和删除列操作几乎瞬间完成，这也得益于他是列式存储的关系
weixin_34254823·2020-08-14 12:59

Druid

优势Druid有如下优势列式存储Druid使用列式存储，列式存储可以查询指定的列
Mr_JieLQ·2020-08-14 11:45

SQL Server 2012 列存储索引

关键字：sqlserver2012，列存储索引，columnindex概述SQLServer2012通过采用列式存储的索引，大大提高了数据仓库的查询效率。
niyi0318·2020-08-14 04:35

hive文件存储格式orc,parquet,avro对比

orc文件存储格式ORC文件也是以二进制方式列式存储的，所以是不可以直接读取，ORC文件也是自解析的，它包含许多的元数据，这些元数据都是同构ProtoBuffer进行序列化的。
zdsg1024·2020-08-14 01:37

实时数仓-Druid简介

主要有以下特点：列式存储可扩展分布式系统并行处理实时或离线摄入数据自容错、自平衡、容易操作云化、容错架构不丢失数据基于时间的分区快速过滤的索引应用很多近似算法摄入数据时即时预聚合
.Mr Zhang·2020-08-12 00:53

[业界方案] ClickHouse业界解决方案学习笔记

0x01简介0x02OLAP场景的特点0x03选型原因携程选型原因头条选型原因0x04技术特点0x05多数据Sharding数据Partitioning高吞吐写入能力支持数据复制和数据完整性0x06快列式存储主键索引稀疏索引实时数据更新支持近似计算多核并行向量化执行与
罗西的思考·2020-08-11 21:00

上海小公司大数据面试题汇总(万字干货)(建议收藏)

1.东软集团架构师电话面试二十分钟：1.1.hbase有什么特点，他的优缺点：海量存储，列式存储，高并发，稀疏（列的灵活性，列族中可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的），高可用
大数据肌肉猿·2020-08-11 20:54

分布式HBase安装配置和基础学习

列式存储，其数据在表中是按照某列存储的，这样在查询只需要少数几个字段时，能大大减少读取的数据量。2.多版本：Hbase每一个
login_sonata·2020-08-11 02:46

安装和使用Inforbright

基于列式存储，无需索引、无需分区。快速响应复制的聚合查询，非常适合分析性的SQL，如SUM、AVG、COUNT、GROUPBY等。Infobright
思灵月·2020-08-10 06:39

初探列式存储---BLU

为解决上述问题，数据库厂商退出列式存储数据库，列存储最大的特点是数据是按列存储的，比
oM落叶Mo·2020-08-09 06:32

B07 - 005、HBase特征简要

一、HBase特征简要  1.1 海量存储  1.2 列式存储  1.3 极易扩展  1.4 高并发  1.5 稀疏记忆词：  海量存储、列式存储、极易扩展、高并发、稀疏 B07-999、大数据组件学习
会飞还得了·2020-08-09 01:12

HBase特点

2）列式存储这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。3）极易扩展Hbase的扩展性主要体现在两
qq_43193797·2020-08-08 20:13

HBase特征简要

HBase特征简要1）海量存储2）列式存储3）极易扩展4）高并发5）稀疏1）海量存储Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。
不会敲代码的小力·2020-08-08 11:12

TiDB 的列式存储引擎是如何实现的？

TiKV采用了行式存储，更适合TP类型的业务；而TiFlash采用列式存储，擅长AP类型的业务。
PingCAP·2020-08-08 06:05

Hive异常Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....

在这篇博客中,也提到了原因…ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。解决方
Alice菌·2020-08-08 03:12

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式
残阙的歌·2020-08-06 10:06

Hive-数据压缩格式，存储格式(行式存储、列式存储)，相关参数配置，详细分析

文章目录1数据压缩配置1.1MR支持的压缩编码1.2压缩参数配置设置Map输出阶段压缩设置Reduce输出阶段压缩2文件存储格式2.1列式存储和行式存储TextFile格式Orc格式Parquet格式3
Demik·2020-08-06 10:17

【学习】kudu、Impala、交互式查询

有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBas
wa2003·2020-08-05 20:56

Hive的数据压缩与数据存储

目录一、hive的数据压缩MR支持的压缩编码压缩配置参数开启Map输出阶段压缩开启Reduce输出阶段压缩二、hive的数据存储格式列式存储和行式存储TEXTFILE格式ORC格式PARQUET格式三、
L00918·2020-08-05 16:32

Hive的压缩与存储

hadoop支持的压缩1.2、Hadoop编码/解码器1.3、压缩性能比较1.4、压缩参数的配置二、Hive压缩的配置2.1、开启Map输出阶段的压缩2.2、开启Reduce输出阶段压缩三、文件存储格式3.1、列式存储和行式存储
chbxw·2020-08-05 16:17

夏季使用各类硬盘的注意事项

固态硬盘（SSD）：由多个闪存芯片加主控以及缓存组成的阵列式存储，属于以固态电子存储芯片阵列制成的硬盘。机械硬盘（HDD）：传统硬盘，为电脑主要的存储媒介之一。
迷你兔数据·2020-08-03 10:19

夏季使用各类硬盘的注意事项

固态硬盘（SSD）：由多个闪存芯片加主控以及缓存组成的阵列式存储，属于以固态电子存储芯片阵列制成的硬盘。机械硬盘（HDD）：传统硬盘，为电脑主要的存储媒介之一。
迷你兔数据·2020-08-03 10:12

kudu CFile设计文档个人翻译.

CFileCFile是一种在磁盘上的存放了数据和其相关B-树索引的列式存储结构,在一个DiskRowSet中每一列和DeltaFile都会映射到一个CFile上,此外DIskRowSet的布隆过滤器也会被存储在
RJ28·2020-08-03 05:19

从简单库入手了解行式存储和列式存储

名词解释OLTP：事务型处理，比如：select字段1,字段2fromtablewhere字段1='x'OLAP：分析型处理，比如：selectavg(字段2)fromtable行式存储和列式存储我们以上图中简化后的广告单元表为例
超级工程鱼·2020-08-03 03:44

spark sql 执行流程

列式存储的类RDD（DataSet/Dat
大数据系统工程师·2020-08-02 21:40

数据结构+算法系列五：I 快速排序

根据目前的见闻，用到的最多的就是快速排序和堆排序（选择排序），MonetDB（一个开源的列式数据库，自称是世界上第一个提出列式存储）中用的就是快速排序和堆排序，linux内核中用的也是堆排序，听别人说：
一座青山·2020-08-02 13:26

Spark笔记(3)-Spark程序调优

Spark程序调优进行总结，分三个部分：优化Spark运行环境1.防止不必要的jar包上传于分发2.提高数据本地性解决方法：计算与存储同节点部署、增加executor数目、增加数据副本数3.存储格式选择选择列式存储
SCAU_Jimmy·2020-08-01 01:20

mysql、gbase数据库和3.x代码适配研究-国产化改造

1、mysql行式存储，gbase列式存储1、大部分ORACL函数是无法使用的：比如说NVL（）等。2、关键字的限制：比如说sql等不能作为字段名。
静静的程序猿的进化·2020-07-30 18:45

Vertica数据库介绍

2、特性1）列式存储vertica以列格式存储数据，以便在查询时获得最佳性能。相比基于行的存储，列存储可减少磁盘I/O，非常适合读取密集型工作负载2）高级压缩压缩会将数据转换为紧凑的格式。
逆水行舟如何·2020-07-30 13:29

大数据典型的技术栈

/72580238计算层少了当前的比较主流的：impla和clickhouse，其他相对来说还比较齐备从另外角度来看大数据技术栈：存储：包括文件系统和存储引擎文件系统方面，除了传统的行式存储，还有新的列式存储格式如
小小她爹·2020-07-30 12:51

谷歌大数据的三驾马车

这包括处理分布式数据的mapreduce、存储大量数据的gfs以及列式存储bigtable，当前流行的大数据技术都是在谷歌发表了这三大论文以后，不断的发展起来的，典型的就是Apache开源的hadoop
xy_cpp·2020-07-29 13:15

说说nosql的优缺点

例如：——灵活的数据模型，结构比后者更丰富，传统关系型数据库都是结构化的表，nosql可以是列式存储、key-value和文档存储；——更易扩展，像nosql数据库分分钟就可以添加一台新的服务器；——高可用
xinqing5130·2020-07-29 00:25

Spark处理Log文件写成Parquet文件的两种方式

我们都知道Parquet的基于列式存储的文件详情参看：https://blog.csdn.net/weixin_39043567/article/details/89874304虽然log文件是有一定的规律
卷曲的葡萄藤·2020-07-28 20:59

pyspark系列--读写dataframe

目录1.连接spark2.创建dataframe2.1.从变量创建2.2.从变量创建2.3.读取json2.4.读取csv2.5.读取MySQL2.6.从pandas.dataframe创建2.7.从列式存储的
振裕·2020-07-28 12:44

深入理解Presto(1) : Presto的架构

简单的数据结构，列式存储，逻辑行，
马云雷的博客·2020-07-28 11:24

HIVE实战处理（三）hive的压缩格式以及压缩文件导入hive实战

列存储的特点：因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。
sheep8521·2020-07-28 10:58

spark2.3.2+Yarn+Carbondata Thrift Server 配置carbondata1.5

Carbondata简介ApacheCarbondata是一种新的融合存储解决方案，利用先进的列式存储，索引，压缩和编码技术提高查询效率。
nszkadrgg·2020-07-28 04:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他