列式存储

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行
chaochao52001·2018-10-18 23:11

Hive文件格式

8.2查询语句运行时间大小比较9总结：1.概述hive文件存储格式包括以下几类：名称出现的版本特点TEXTFILE文本，默认值SEQUENCEFILE二进制序列文件RCFILEHive0.6以后开始支持列式存储格式文件
九师兄-梁川川·2018-10-18 19:34

parquet

参考大数据开源列式存储引擎Parquet和ORC新型列式存储格式Parquet详解读写parquet格式文件的几种方式Parquetfileoptionalfielddoesnotexistparquet
羽溪夜·2018-10-11 17:19

clickHouse单机安装

一、clickHouse简介clickHouse是俄罗斯人开源的一个数据分析的数据库，这个列式存储的数据库跑分要领先很多流行的商业的数据库软件，简单的说，ClickHouse作为分析型数据库，有三大特点
H_w·2018-10-08 12:50

Spark项目学习-慕课网日志分析-days2-Spark SQL

mapreduce特点：基于mapreduce改进：基于tezsparkSpark：分布式的基于内存的计算框架hiveonspark==>shark（hiveonspark）优点：基于spark、基于内存的列式存储
canglan211·2018-10-06 20:46

12.spark sql之读写数据

Parquet  Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录。Parquet自动保存原始数据的
菲立思教育·2018-09-09 16:25

kudu、Impala、交互式查询

有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBas
郭首志·2018-09-04 18:02

SparkSQL-Parquet文件

列式存储和行式存储相比有哪些优势呢？可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。压缩编码可以降低磁盘存储空间。
Anbang713·2018-08-21 22:07

Java API 读取Hive Orc文件

Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。
mnasd·2018-08-16 09:04

ClickHouse安装和使用技巧

ClickHouse有一个简称"CK"，与Hadoop、Spark这些巨无霸组件相比，ClickHouse很轻量级，其特点：列式存储数据库，数据压缩关系型、支持SQL分布式并行计算，把单机性能压榨到极限高可用数据量级在
Mr_哲·2018-08-09 14:34

centos7下使用rpm包安装clickhouse

clickhouse是由俄罗斯Yandex公司开发的列式存储数据库，于2016年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库
小得盈满·2018-07-20 18:00

时序数据库技术体系 – 初识InfluxDB

12-08在上篇文章《时序数据库体系技术–时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑，其中OpenTSDB基于HBase对维度值进行了全局字典编码优化，Druid采用列式存储并实现了
gongpulin·2018-07-12 22:56

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式
cjlion·2018-07-02 14:42

Spark sql执行流程

列式存储的类RDD（DataSet/Dat
cjlion·2018-07-01 21:56

spark 读取parquet

列式存储布局（比如Parquet）可以加速查询，因为它只检查所有需要的列并对它们的值执行计算，因此只读取一个数据文件或表的小部分数据。Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。
瓦力冫·2018-06-22 19:05

hadoop之传统的行存储和（HBase）列存储的区别

转自：https://blog.csdn.net/youzhouliu/article/details/676328821为什么要按列存储列式存储(Columnarorcolumn-based)是相对于传统关系型数据库的行式存储
Candy_GL·2018-06-18 15:24

在CDH5.14.2 中启用kudu的配置与验证

在CDH5.14.2中启用kudu的配置标签（空格分隔）：大数据平台构建一：系统平台介绍二：安装kudu的集成一：系统平台介绍1.1.关于kudu的介绍Kudu是Cloudera开源的新型列式存储系统，
flyfish225·2018-06-11 13:52

大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
shangzhi_quan·2018-06-04 10:58

apache-kylin 权威指南—读书笔记

需求：虽然像spark，hive等使用MPP大规模并行处理和列式存储的方式，可以将Hadoop的SQL查询提高到了分钟级别，但是仍然不能满足数据分析师的要求。在面对超大规模的数据集时，分析师不
dianqiulai2465·2018-05-23 11:00

面试中必须要会的知识点

渠道分析媒体分析统一用户识别数据标签化用户上下文标签合并图计算再次合并标签把标签存入HBase，再次合并标签-->数据到了HBase以后，就到了精准营销部门2、项目中的知识点1）parquet文件存储（列式存储
匿名啊啊啊·2018-05-19 00:00

大数据：Hive - ORC 文件存储格式

转自ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
cnhome·2018-05-08 16:34

Kudu的架构以及优势

有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBase只能
百味神探·2018-05-08 00:00

Apache Kudu集群安装

简介Kudu是Cloudera开源的分布式列式存储引擎，支持分区、随机读写、批量扫描、实时更新等。
wangpei1949·2018-04-21 20:19

Hbase知识点总结

sql:结构化查询语言nosql:非关系型数据库，列存储和文档存储(查询低延迟),hbase是nosql的一个种类，其特点是列式存储。非关系型数据库--
Yatpif·2018-04-16 08:53

hbase面试题

一、HBase的特点是什么1.HBase一个分布式的基于列式存储的数据库,基于hadoop的hdfs存储，zookeeper进行管理。
qq_34795664·2018-04-16 00:12

Hbase中的列式表映射到hive的外表

在做数据ETL中，可能原始数据在列式存储Hbase中，这个时候，如果我们想清洗数据，可以考虑把Hbase表映射为Hive的外表，然后使用Hive的HQL来清除处理数据，具体过程参考下面例子：步骤1，创建
Soyoger·2018-04-03 14:48

Druid.io实时大数据原理介绍

Druid.io是一个开源的，分布式的，列式存储的，适用于实时数据分析的OLAP系统。它能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。
小黑妹·2018-04-01 22:50

Hive存储格式

基本概念行式存储和列式存储先了解两种存储格式,下图右边自上至下分别行式存储和列式存储对同一种逻辑表(图中左侧)的存储方式图示.逻辑表&行式存储&列式存储行存储常见的关系型数据库都是行式存储的,在我们查询的条件需要得到大多数列的时候
海边的贝壳林·2018-03-23 19:26

Clickhouse安装及使用

更让人惊讶的是，这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件，例如Vertica。
小强签名设计·2018-03-19 14:53

几种主要的非关系型数据库

Hbase列式存储以流的方式在列中存储所有的数据。对于任何记录，索引都可以快速地获取列上的数据；列式存储支持行检索，但这需要从每个列获取匹配的列值，并重新组成行。
qq_34116402·2018-03-16 18:51

几张图看懂列式存储

1为什么要按列存储列式存储(Columnarorcolumn-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。
xpleaf·2018-03-13 10:41

Parquet介绍及简单使用

==>什么是parquetParquet是列式存储的一种文件类型==>官网描述：ApacheParquetisacolumnarstorageformatavailabletoanyprojectintheHadoopecosystem
菜鸟的征程·2018-03-08 00:13

真实测试：基于Hive存储格式对存储性能及查询性能的影响引发的hive调优思考

理论基础一、大数据领域的行式存储与列式存储1、行式存储：hdfs上一个block存储一或多行数据。按行压缩，压缩性能受字段类型影响。
Mr_249·2018-03-06 20:55

hive的orc格式详解

orc是列式存储结构，（关系型数据库大多用的是行式存储），由于列式数据数据库在扫
敲码的汉子·2018-02-03 11:03

hive的orc格式详解

orc是列式存储结构，（关系型数据库大多用的是行式存储），由于列式数据数据库在扫
敲码的汉子·2018-02-03 11:03

ClickHouse中文社区成立了，Clickhouse中国第一次线下Meetup于2018年1月27在北京举行

ClickHouse是一个面向OLAP的分布式列式DBMS，其特点：列式存储数据库关系型巨快无比分布式高可用PB级别为了更好的传播优
代立冬·2017-12-23 23:40

大数据学习笔记（十）-Hive中的Storage format

TEXTFILE列存储：ORC、PARQUET、AVRO行列混合存储：RCFILE、2.行存储VS列存储行式存储：①一行数据一定在一个block里②一行数据类型混杂，不容易获得很好的压缩比③不能支持快速查询列式存储
狂暴棕熊·2017-12-13 21:03

Hive文件存储格式

列式存储和行式存储上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。
Pd-pony·2017-11-26 19:04

Java API 读取Hive Orc文件

Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。
赶路人儿·2017-11-23 19:21

Hive中压缩设置 和 Hive文件存储格式及使用

Hive中压缩设置和Hive文件存储格式及使用(一)Hive文件存储格式上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。
Data_IT_Farmer·2017-11-07 10:23

thrift、序列化与parquet读取

parquet是一种常见的列式存储格式，普通的parquet文件可以用java中的ParquetReader来读取，在存储格式较为简单时，可以通过Group.get×××可以获得相应列的数据，获得相应json
小么额菇·2017-10-27 10:37

Hbase特点

列式存储，其数据在表中是按照某列存储的，这样在查询只需要少数几个字段时，能大大减少读取的数据量。2.多版本：Hbase每一个列的存储有多个Version。
Horizon_Zy·2017-10-22 16:35

ElasticSearch 6.0即将发布，新特性展望

其中有很多特性值得期待：稀疏性DocValues的支持，大家知道es的docvalues是列式存储，文档的原始值都是存放在docvalues里面的，而稀疏性是指，一个索引里面，文档的结构其实是多样性的，
Hadoop技术博文·2017-09-05 00:00

Kudo介绍 + Spark\Python\Scala开发Kudu应用程序

为了实现复杂的功能通常都是使用混合架构，Hbase：实现快速插入和修改，对大量的小规模查询也很迅速HDFS/Parquet+Impala/Hive：对超大的数据集进行查询分析，对于这类场景，Parquet这种列式存储文件格式具有
Raini.闭雨哲·2017-08-22 11:24

hbase功能原理简述

一.架构1.数据模型1.1基础概念表(table)：列式存储，支持高表&宽表(上亿行，上百万列)行(row)：每一行由唯一的行键确定列族(columnFamily)：每一行包含一个或多个列族，是列的集合列
克终·2017-07-29 08:13

利用 sparksession读取Parquet，Json格式文件

Spark支持的一些常见的格式：文本文件：无任何的格式json文件：半结构化parquet：一种流行的列式存储格式sequencefile：一种(k－v)的Hadoop文件格式.importorg.apache.spark.SparkConfimportorg.apache.spark.sql.SparkSessionobjectOpsWihtJson_and_parquet
holomain·2017-07-09 16:22

谷歌大数据的三驾马车

这包括处理分布式数据的mapreduce、存储大量数据的gfs以及列式存储bigtable，当前流行的大数据技术都是在谷歌发表了这三大论文以后，不断的发展起来的，典型的就是Apache开源的hadoop
罗伯特北京·2017-06-11 11:15

Spark Kudu 结合

为了实现复杂的功能通常都是使用混合架构，Hbase：实现快速插入和修改，对大量的小规模查询也很迅速HDFS/Parquet+Impala/Hive：对超大的数据集进行查询分析，对于这类场景，Parquet这种列式存储文件格式具有极大的优势
LonelysWorld·2017-05-24 17:05

Spark 中关于Parquet的应用与性能初步测试

Spark中关于Parquet的应用Parquet简介Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache
去买大白兔·2017-05-21 14:35

Kudu:支持快速分析的新型Hadoop存储系统

Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
两榜进士·2017-05-11 17:23
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他