E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
列式存储
ClickHouse 特性及存储原理
简介ClickHouse是一个
列式存储
数据库管理系统(DBMS)。相比于其他传统行式数据库系统,
列式存储
数据库更适合OLAP的场景,使用一
qianshanding0708
·
2023-11-13 10:55
数据库
大数据
java
mysql
编程语言
ClickHouse 原理解析之基础知识总结
ClickHouse基础知识整理参考ClickHouse官方文档:https://clickhouse.com/docs/en/intro一:行式存储和
列式存储
1.行式存储和
列式存储
的区别1.1概念说明行式存储
小鹿的周先生
·
2023-11-13 10:19
ClickHouse
java
服务器
linux
Clickhouse学习笔记01——入门及安装
文章目录一、Clickhouse入门1.使用场景2.Clickhouse的特点2.1
列式存储
2.2DBMS功能2.3多样化引擎2.4高吞吐写入能力2.5数据分区和线程并行2.6一些限制2.7哪些公司在使用
mp9105
·
2023-11-12 14:44
Clickhouse
Clickhouse
浅谈ClickHouse安全性和权限管理
ClickHouse安全性和权限管理ClickHouse是一个高性能、
列式存储
的分布式数据库,广泛应用于实时数据分析、大数据处理等场景。
~奔跑的简默~
·
2023-11-10 21:00
ClickHouse系列
clickhouse
大数据
数据库
spark读取数据并打印_Spark读取和保存数据
Parquet是一种流行的
列式存储
格式,可以高效地存储具有嵌套字段的记录。Parquet是语言无关的,而且不与任何一种数据处理框架
凌子卿
·
2023-11-09 14:57
spark读取数据并打印
HBase基础编程
文章目录HBase基础编程一、实验目标二、实验要求及注意事项三、实验内容及步骤附:系列文章HBase基础编程一、实验目标掌握如何通过HBaseshell命令来设计HBase表结构实例,从而理解HBase的
列式存储
结构掌握
Want595
·
2023-11-08 20:06
#
《
大数据技术
》
hbase
数据库
大数据
CarbonData部署和使用
ApacheCarbonData|GitHub|文档1概述CarbonData是一个开源的用于快速数据分析的新型BigData文件格式,这个项目是华为公司在2016年开源的类Parquet的
列式存储
,也仅仅用了不到一年的时间就成为了
Yore Yuen
·
2023-11-08 16:43
大数据
Apache
CarbonData
列式存储
安装
Spark
SQL
增删改查
Java-Hbase介绍
1.2.
列式存储
列方式所带来的重要好处之一就是,由于查询中的选
狠情
·
2023-11-06 23:05
hbase
数据库
大数据
10.ClickHouse系列之为啥这么快
毕竟要招的是实实在在干活的人,当然要是在开源社区有一定的贡献,呢还不是妥妥的不需要八股吗1.ClickHouse为什么这么快ClickHouse之所以如此快,是因为它在设计和实现时采用了多种技术和优化策略:1.
列式存储
沈健_算法小生
·
2023-11-05 22:31
大数据
clickhouse
面试
数据库
ClickHouse 学习之基础入门(一)
第1章ClickHouse入门ClickHouse是俄罗斯的Yandex于2016年开源的
列式存储
数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告
十点摆码
·
2023-11-04 08:04
大数据
clickhouse
prometheus
grafana
大数据平台发展及Hudi简要复习
Vertica是一个高性能的
列式存储
数据库,专为分布式大规模数据分析设计,能处理PB级别的数据,并支持SQL和许多BI工具。它为Uber的数据分析提供了更快、
Joy T
·
2023-11-03 09:49
大数据
大数据
数据仓库
Hive面试题持续更新【2023-07-07】
七、Hive内部表和外部表的区别八、ORC、Parquet等
列式存储
的优点九、数据建模用的哪些模型?十、为什么要对数据仓库分层?十一、使用过Hive解析JSON串吗十二、sortb
程序终结者
·
2023-11-01 21:35
大数据生态应知应会
hive
hadoop
大数据
Hbase面试题(面经)整理
Hbase一个分布式的基于
列式存储
的数据库,基于Hadoop的hdfs存储,zookeeper进行管理。
_Kafka_
·
2023-10-29 12:03
大数据
ClickHouse快速了解
简介ClickHouse是一个开源列式数据库管理系统(DBMS),用于在线分析处理(OLAP):
列式存储
:与传统的行式数据库不同,ClickHouse以列的形式存储数据,这使得在分析大量数据时能够获得更好的性能和压缩率
Joy T
·
2023-10-28 21:29
数据库
clickhouse
数据库
一文总结HBase原理
一、存储模式1.1行式存储&
列式存储
定义以行为存储基准的存储方式称为行式存储,一行的数据聚合存储在一块;以列为存储基准的存储方式称为
列式存储
,保证每一列的数据存储在一块。
要记录的Ivan
·
2023-10-28 09:59
clickhouse、Doris、Kylin对比
clickhouseClickHouse是俄罗斯的Yandex于2016年开源的
列式存储
数据库(DBMS),使用C++语言编写,是基于MPP架构的分布式ROLAP(RelationalOLAP)分析引擎主要用于在线分析处理查询
大地你王哥
·
2023-10-28 08:53
clickhouse
kylin
大数据
Apache Calcite 框架原理入门和生产应用
例如
列式存储
(HBase)、流处理引擎(Flink)、文档搜索引擎(Elasticsearch)等等。
王知无(import_bigdata)
·
2023-10-27 16:47
大数据
编程语言
数据库
java
人工智能
Clickhouse实时数仓建设
1.概述Clickhouse是一个开源的
列式存储
数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。
程序猿小乙
·
2023-10-26 12:09
java
clickhouse
clickhouse、Doris、Kylin对比
clickhouseClickHouse是俄罗斯的Yandex于2016年开源的
列式存储
数据库(DBMS),使用C++语言编写,是基于MPP架构的分布式ROLAP(RelationalOLAP)分析引擎主要用于在线分析处理查询
大地你王哥
·
2023-10-26 12:07
clickhouse
kylin
大数据
大数据 - (六-2)- HBase
2)⽀持好多列HBase的特点海量存储:底层基于HDFS存储海量数据
列式存储
:HBase表的数据是基于列族进⾏存储的,⼀个列族包含若⼲列极易扩展:底层依赖HDFS,当磁盘空间不⾜的时候,只需要动态增加DataNode
啦啦啦喽啰
·
2023-10-25 04:38
支持百亿数据场景,海量高性能列式数据库HiStore技术架构解析
支持百亿数据场景,海量高性能列式数据库HiStore技术架构解析HiStore介绍HiStore是阿里中间件团队研发的数据库产品,是一款基于独特的知识网格技术的列式数据库,定位于海量数据高压缩比
列式存储
huangshulang1234
·
2023-10-24 12:50
海量数据
Java架构
数据库
技术架构
高性能
数据
clickhouse入门学习笔记
clickhouse简介2016年,俄罗斯Yandex开源,
列式存储
数据库,底层是C++,用于在线分析处理查询(OLAP)。
我是坏人哦
·
2023-10-22 01:38
大数据
大数据
clickhouse
列式存储
ClickHouse 与es比较
Clickhouse是俄罗斯搜索巨头Yandex开发的完全
列式存储
计算的分析型数据库。ClickHouse
奋斗的韭菜汪
·
2023-10-21 18:23
DataX抽取oracle数据到hive,数据量变多
textfile,textfile默认列分隔符为\001,默认行分隔符为\n在oracle源数据中本身带有textfile行分隔符\n,所以在遇到源数据中的\n时,就会提前换行,导致字段错位,数据量增加解决方案使用
列式存储
微亮之海
·
2023-10-20 15:37
hive
大数据
hadoop
hdfs orc格式_大数据:Hive - ORC 文件存储格式
一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar),ORC文件格式是一种Hadoop生态圈中的
列式存储
格式,它的产生早在2013年初,最初产生自ApacheHive,用于降低
weixin_39854369
·
2023-10-20 03:35
hdfs
orc格式
Hive - ORC 文件存储格式详细解析
一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar),ORC文件格式是一种Hadoop生态圈中的
列式存储
格式,它的产生早在2013年初,最初产生自ApacheHive,用于降低
浪尖聊大数据-浪尖
·
2023-10-20 03:33
java
hadoop
大数据
hive
hdfs
一款OLAP数据库ClickHouse
ClickHouse是俄罗斯的Yandex于2016年开源的
列式存储
数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时
高阳很捷迅
·
2023-10-19 20:35
carbondata优化小姐
一,carbondata高效原因carbondata文件是hdfs的
列式存储
格式查询速度是sparkSQL的10倍,通过多种索引技术和多次pushdown优化,对TB级别数据快速响应高效的压缩,使用轻量级和和重量级压缩组合的方式
不吃饭的猪
·
2023-10-15 08:54
大数据
Apache Doris系列:大数据平台安装与部署详细步骤
ApacheDoris系列:大数据平台安装与部署详细步骤ApacheDoris(前身为Palo)是一个适用于大数据分析的开源
列式存储
数据库。
我的小星星
·
2023-10-14 04:15
大数据
apache
大数据
YashanDB向量化执行引擎如何给海量数据分析提速
为了解决这个问题,基于
列式存储
的向量
YashanDB
·
2023-10-12 10:15
数据库
数据分析
数据仓库
大数据
clickhouse数据库简介,
列式存储
clickhouse数据库简介1、关于列存储所说的行式存储和
列式存储
,指的是底层的存储形式,数据在磁盘上的真实存储,至于暴漏在上层的用户的使用是没有区别的,看到的都是一行一行的表格。
raoxiaoya
·
2023-10-11 17:36
杂项
数据库
clickhouse
oracle
spark原理和实践
数据生成后,需要存储元数据信息,选择合适的存储格式,像Parquet、ORC是两种高性能的
列式存储
,Hudi数据存储的中间件,优化存储的读写,也可以存储到分布式文件存储系统HDFS,分布式消息系统kafka
头顶假发
·
2023-10-11 04:13
Java
程序员
编程
大数据
hadoop
分布式
HBase入门精要
前言HBase,是基于GoogleBigtable实现的开源、分布式、可伸缩的
列式存储
数据库。
独行侠梦
·
2023-10-11 03:42
hbase笔记
java
hbase
hadoop
大数据
数据库
MySQL相关问题汇总(更新中)
同样,
列式存储
是把一列的数据都串起来进行存储,然后再存储下一列。这样做的话,相邻数据的数据类型都是一样的,更容易压缩,压缩之后就自然降低了I/O。我们还需要从数
顾子豪
·
2023-10-11 02:07
clickhouse 入门介绍和预演
更让人惊讶的是,这个
列式存储
数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。(如果你没有听过Verti
biwenjun999
·
2023-10-08 14:47
大数据
HBase权威指南(一)
列式存储
与行式存储
列式存储
基于一种假设:对于特定查询,不是所有值都是必须的。列的数据是天生相似的,即便逻辑上每一行之间有轻微不同。HBase不是一个
列式存储
的数据库,但是它利用了磁盘上的
列式存储
格式。
kaiker
·
2023-10-08 09:50
ClickHouse源码笔记2:聚合流程的实现
1.基础知识的梳理ClickHouse的实现接口Block类前文我们聊到ClickHouse是一个
列式存储
数据库,在内存之中用IColumn接口来作为数据结构表示数
LeeHappen
·
2023-10-06 13:06
ClickHouse概述
更让人惊讶的是,这个
列式存储
数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。
mysia
·
2023-10-06 10:52
自定义字段MongoDb与Mysql 扩展表性能分析
2.技术方案从传统数据库mysql到文档数据库mongodb,再到搜索引擎ES以及
列式存储
数据库,可以有如下方案:技术方案优点缺点Mysql预留扩展字段简单,成本低,查询方便只能处理有限字段,浪费资源MysqlEAV
渐次花开
·
2023-10-05 09:03
java
数据库
前端
Hbase 基础面试题
(1)Hbase一个分布式的基于
列式存储
的数据库,基于Hadoop的hdfs存储,zookeeper进行管理。
Tim在路上
·
2023-10-02 03:33
一文读懂大数据开源生态圈
从Google的大数据三驾马车谈起Google在2003年到2004年先后发布了被称为大数据三驾马车的三篇重要论文,分别是分布式数据处理MapReduce、分布式数据存储GFS以及
列式存储
数据库BigTable
麦田里的思考者
·
2023-10-01 02:46
数据仓库实践杂谈-(四)-元数据
目录]第一章:概述第二章:整体数据分层第三章:整体实现框架第四章:元数据第五章:ETL第六章:数据校验第七章:数据标准化第八章:去重第九章:增量/全量第十章:拉链处理第十一章:分布式处理增量第十二章:
列式存储
第十三章
老程序员一叶知秋
·
2023-09-30 19:13
数据仓库实践
元数据
数据仓库
大数据
数据模型
ETL
简单说说
列式存储
数据库
随着业务越来越看重数据的重要性,相信大家也做了很多多维分析的需求,在调研技术选型时候,会发现很多olap,如druid、clickhouse、starRocks都是
列式存储
数据库,今天我们来通过对比行存储简单说下列存储举个栗子来说下列存储和行存储要过年回家了
小草莓子桑
·
2023-09-30 18:10
大数据Doris(二):Doris原理篇
文章目录Doris原理篇一、Doris特点1、支持标准SQL接口2、
列式存储
引擎3、支持丰富的索引结构4、支持多种存储模型5、支持物化视图6、MPP架构设计7、支持向量化查询引擎8、动态调整执行计划9、
Lansonli
·
2023-09-30 01:12
大数据
java
开发语言
Hive实战-表创建
ORC的全称是(OptimizedRowColumnar),ORC文件格式是一种Hadoop生态圈中的
列式存储
格式。ORC是
列式存储
,有多种文件压缩方式,并且有着很高的压缩比。
HanhahnaH
·
2023-09-28 09:14
Hive
hive
hadoop
数据仓库
学习apache druid(1)——特性,场景
学习druid1.Columnarstorageformat.
列式存储
,查询速度快,而且根据列类型不同可以采用不同的压缩方式和编码类型。
cclovezbf
·
2023-09-27 15:59
druid
学习
apache
druid
pg数据表同步到hive表数据压缩总结
为了解决pg的压力,尝试采用hive数据仓库存数,利用hive支持的parquet
列式存储
,同时支持lzo、none、uncompressed、brotil、snappy和gzip的压缩算法,更节省空间
zcc_0015
·
2023-09-23 00:28
hive
hadoop
数据仓库
ClickHouse学习笔记(一)
ClickHouse是俄罗斯的Yandex于2016年开源的
列式存储
数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。
dev_winner
·
2023-09-22 20:53
YashanDB混合存储揭秘:行式存储如何为高效TP业务保驾护航(上)
背景数据库底层组织数据的方式主要分为行式存储和
列式存储
两大类。YashanDB在存储引擎设计上采用融合架构,基于统一存储底
YashanDB
·
2023-09-22 14:59
YashanDB
数据库
国产数据库
数据库
Hbase与pegasus对比
2.
列式存储
,面向列存储,columnfamily与qualifier,按照列簇独立检索。3.因为空列不占据存储空间,所以表结构可以非常稀疏,适合互联网这种稀疏场景。
bitcarmanlee
·
2023-09-22 03:58
hbase
hbase
pegasus
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他