E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
clickhouse物化视图
ClickHouse
实时分析(四)-
ClickHouse
表引擎详解
目录1.表引擎的使用2.日志引擎系列2.1TinyLog2.2Log2.3StripeLog3.MergeTree引擎系列3.1MergeTree3.1.1partitionby分区(可选)3.1.2primarykey主键(可选)3.1.3orderby(必选)3.1.4列和表的TTL3.2AggregatingMergeTree3.3CollapsingMergeTree3.4Replacin
大Null
·
2023-06-14 19:20
ClickHouse
clickhouse
大数据
数据库
ClickHouse
表引擎简单介绍
ClickHouse
的表引擎跟我们耳熟能详的Mysql表引擎差别很大,它功能更加强大作用:(1)数据存储位置(内存或者磁盘)(2)操作方式和操作限制(3)并发和多线程限制(4)是否可以使用索引(5)数据备份
凉拌海蜇丝
·
2023-06-14 19:20
ClickHouse
数据库
Docker run 主要命令详解
-i:以交互模式运行容器,通常与-t同时使用-t:为容器重新分配一个伪输入终端,通常与-i同时使用注意:解释上it经常连用,但是在某些场景下,比如
clickhouse
-client执行sql文件,不可以使用
EdgeE
·
2023-06-14 16:04
Hbase-- 03
③建立索引和
物化视图
需要花费大量的时间和资源。④面对查询需求,数据库必须被大量膨胀才能满足需求。列式数据库的特性
All996
·
2023-06-14 10:53
hbase
hadoop
数据库
Apache Doris :Rollup
物化视图
整理了一下目前开启虚拟机需要用到的程序,包括MySQL,Hadoop,Linux,hive,Doris3.5RollupROLLUP在多维分析中是“上卷”的意思,即将数据按某种指定的粒度进行进一步聚合。1.求每个城市的每个用户的每天的总销售额selectuser_id,city,date,sum(sum_cost)assum_costfromtgroupbyuser_id,city,date–us
All996
·
2023-06-14 10:22
hive
学习
数学建模
数据仓库
数据库
clickhouse
分区操作实践
目录1分区表2创建分区表2.1不指定分区2.2使用函数创建分区2.3使用现有字段直接分区3分区操作3.1删除分区3.1.1删除前分区信息如下3.1.2删除前磁盘数据目录3.1.3删除前数据如下3.1.4删除命令3.1.5删除后分区信息3.1.6删除后磁盘数据目录3.1.7删除后数据呈现3.1.8应用3.2复制分区数据3.3重置分区数据3.3.1重置前数据3.3.2执行命令3.3.3重置后数据3.4
逃跑的沙丁鱼
·
2023-06-13 20:26
clickhouse
数仓+BI
采坑爬坑
c++
大数据
分区表
【
Clickhouse
_docker-copose】安装部署
【
Clickhouse
docker-compose安装部署】一、基础资源硬件资源:3台centos7.8虚拟机软件资源:docker-24.0.1,docker-compose-2.18.1,zookeeper3.8
万琛
·
2023-06-13 20:56
docker
clickhouse
容器
GaussDB(for MySQL) 云原生数据库技术演进和挑战
在2023云数据库技术沙龙“MySQLx
ClickHouse
”专场上,华为云数据库
·
2023-06-13 18:59
一款OLAP数据库
ClickHouse
本篇主题:基于3W1H原则,讲解
ClickHouse
,以便于后续开发实践。中文文档:如何使用
ClickHouse
测试您的硬件|
ClickHouse
Docs1
clickhouse
是什么?
高阳很捷迅
·
2023-06-13 17:04
数据分析
数据库
clickhouse
hive
19、
ClickHouse
企业中常见的20种用法
文章目录19、
ClickHouse
企业中常见的20种用法--1、表结构添加字段--2、删除语句--3、更新语法--4、查询表字段结构--5、展示字段加密处理身份证号(字母加数字)加密--6、展示字段加密处理手机号
小白de成长之路
·
2023-06-13 11:24
存储相关
clickhouse
数据库
MaxCompute 发布“
物化视图
智能推荐”,CU算力节省14%
阿里云MaxCompute在飞天发布时刻推出了“
物化视图
智能推荐”功能,这一功能的发布将节省CU算力14%,进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·
2023-06-13 10:08
clickhouse
-jdbc 源码学习
clickhouse
-jdbc源码学习文章目录
clickhouse
-jdbc源码学习包介绍依赖版本搭建环境版本如下QA1.LocalDate/LocalDateTime不兼容2.一次查询请求的源码追踪包介绍依赖版本本次研究源码依赖的版本如下
wz绿鲤鱼与驴
·
2023-06-13 04:31
clickhouse
数据库
mybatis
学习
mybatis
java
12、Hive优化-文件存储格式和压缩格式优化与job执行优化(执行计划、MR属性、join、优化器、谓词下推和数据倾斜优化)详细介绍及示例
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:11
#
hive专栏
hive
hadoop
数据分析
数据仓库
大数据
10、hive综合示例:数据多分隔符(正则RegexSerDe)、url解析、行列转换常用函数(case when、union、concat和explode)详细使用示例
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:10
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
11、hive综合应用示例:json解析、窗口函数应用(连续登录、级联累加、topN)、拉链表应用
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:10
#
hive专栏
hive
hadoop
大数据
数据分析
数据仓库
13、java api访问hive操作示例
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:40
#
hive专栏
hive
java
hadoop
数据仓库
数据分析
7、hive shell客户端与属性配置、内置运算符、函数(内置运算符与自定义UDF运算符)
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:39
#
hive专栏
hive
hadoop
大数据
数据分析
数据仓库
9、hive的explode、Lateral View侧视图、聚合函数、窗口函数、抽样函数使用详解
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:39
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
5、hive的load、insert、事务表使用详解及示例
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:08
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
6、hive的select(GROUP BY、ORDER BY、CLUSTER BY、SORT BY、LIMIT、union、CTE)、join使用详解及示例
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:08
#
hive专栏
hive
大数据
数据分析
hadoop
数据仓库
8、hive的关系运算、逻辑预算、数学运算、数值运算、日期函数、条件函数和字符串函数的语法与使用示例详解
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:08
#
hive专栏
hive
hadoop
大数据
数据仓库
数据分析
3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:07
#
hive专栏
hive
大数据
数据分析
数据仓库
hadoop
4、hive的使用示例详解-事务表、视图、
物化视图
、DDL(数据库、表以及分区)管理详细操作
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:07
#
hive专栏
hive
数据库
hadoop
数据仓库
大数据
1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、本地模式和远程模式)及验证详解
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:37
#
hive专栏
hive
hadoop
数据分析
大数据
数据仓库
2、hive相关概念详解--架构、读写文件机制、数据存储
本地模式和远程模式)及验证详解2、hive相关概念详解–架构、读写文件机制、数据存储3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表4、hive的使用示例详解-事务表、视图、
物化视图
一瓢一瓢的饮 alanchan
·
2023-06-12 12:35
#
hive专栏
hive
架构
hadoop
大数据
数据分析
ClickHouse
应用
第二章
ClickHouse
的安装2.1准备工作2.1.1确定防火墙处于关闭状态2.1.2CentOS取消打开文件数限制在hadoop102的/etc/security/limits.conf文件的末尾加入以下内容
小呀么小白兔
·
2023-06-12 10:41
clickhouse
flink
clickhouse
的常用引擎
1)Distributed引擎这个引擎是为了实现分布式的查询的,另外一个功能就是插入的时候实现Shard(分片)可以理解为一个特别的视图,用来支持分布查询和插入分片数据。反应到配置中的就是remote_servers的定义部分,下面的例子定义了三个shard支持分布式查询:ch-sub-19000ch-sub-29000ch-sub-39000Distributed(cluster_name,da
net_wolf
·
2023-06-12 10:09
clickhouse
Python
db
olap
python
『 白话课堂 』详谈
ClickHouse
的 表引擎
本期与大家分享的是,小北用心整理的
ClickHouse
的表引擎介绍,希望对大家能有帮助,大家喜欢就给点鼓励吧,欢迎各位大佬评论区指教讨论!制作不易,各位大佬们给点鼓励!
北慕辰
·
2023-06-12 10:39
ClickHouse
数据库
sql
ClickHouse
多维分析
nosql数据库
DBMS 数据库管理系统的三级模式架构《
ClickHouse
实战:企业级大数据分析引擎》
引文计算机科学领域的所有问题,都可以通过添加一层中间层来解决。通过在用户和计算机中间添加一层逻辑层(概念模型层),于是就有了“数据库的三级模式”:数据库在三个级别(层次)上进行抽象,使用户能够逻辑地、抽象地处理数据,而不必关心数据在计算机中的物理表示和存储。光剑,2021.数据库简介当今世界是一个充满着数据的互联网世界,充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多,比如出行记录
禅与计算机程序设计艺术
·
2023-06-11 15:09
我说用count(*)统计行数,面试官让我回去等消息...
2.1增加redis缓存2.2加二级缓存2.3多线程执行2.4减少join的表2.5改成
ClickHouse
3count的各种用法性能对比前言最近我在公司优化过几个慢查询接口的性能,总结了一些心得体会拿出来跟大家一起分享一下
我的尤克里里
·
2023-06-11 14:26
mybatis
java
spring
boot
clickhouse
数据模型之用户路径分析
绝大多数人拿到这个需求的做法就是进行数据抽样观察以及进行一些简单的问卷调参工作,这种方式不但费时费力还不具有代表性,那么这个时候你就需要一套用户行为路径分析的模型作为支撑,才能快速帮组你找到最佳答案前言
clickhouse
与AI零距离
·
2023-06-11 09:53
ClickHouse
实战整理 - 统计 pv uv
个人博客:DoubleFJのBlog
ClickHouse
官方文档文中举例均为简单示例,根据业务自行扩展。
DoubleFJ
·
2023-06-11 03:54
ClickHouse
uv
ClickHouse
Docker安装
ClickHouse
22.6.9.11并与SpringBoot、MyBatisPlus集成
背景上一篇文章CentOS6.10上离线安装
ClickHouse
19.9.5.36并修改默认数据存储目录记录了在旧版的操作系统上直接安装低版本
ClickHouse
(脱胎于俄罗斯头号搜索引擎的技术)的过程
Heartsuit
·
2023-06-10 19:08
Docker
Database
SpringBoot
docker
spring
boot
ClickHouse
MyBatisPlus
ClickHouse的CRUD
Doris、
Clickhouse
、Tidb三者对比
序号对比维度类别Doris
Clickhouse
TiDB1总体架构Share-Nothing是是是2列存是是是3架构内置分布式协议进行元数据同步Master/Follower/Observer节点类型依赖
卢子墨
·
2023-06-10 18:55
OLAP/OLTP
数据库
【数据库】Apache Doris : 一个开源 MPP 数据库的架构与实践
整体架构二、Doris数据分布三、Doris的使用方式Doris关键技术一、数据可靠性二、易运维三、MySQL兼容性四、支持MPPDoris数据模型一、Doris数据模型特点二、聚合计算说明:三、按列存储四、
物化视图
五
逆流°只是风景-bjhxcc
·
2023-06-10 18:22
数据库
apache
开源
CentOS6.10上离线安装
ClickHouse
19.9.5.36并修改默认数据存储目录
背景在一台装有CentOS6.10操作系统的主机上安装
ClickHouse
(其实本来计划是先安装Docker,然后在Docker中快速启动
ClickHouse
的,但是由于CentOS6对Docker支持不好
Heartsuit
·
2023-06-10 14:12
BigData
运维
Database
ClickHouse
CentOS6
ClickHouse配置密码
修改默认数据目录
OLAP
ClickHouse
建表语句分析
MergeTree引擎
Clickhouse
中最强大的表引擎当属MergeTree(合并树)引擎及该系列(*MergeTree)中的其他引擎。
shanyaodou
·
2023-06-10 10:34
大数据
大数据
数据库
greenplum,teradata,presto,
clickhouse
四种分布式数据库的对比
1.四种数据库的比较2.Greenplum数据库2.1Greenplum架构2.1.1采用MMP架构2.2.2Hadoop与MPP的应用区别2.2greenplum的高可用性2.2.1master冗余2.2.2segment冗余2.3greenplum的并行查询2.4greenplum的多版本控制(MVCC)3Teradata数据库3.1Teradata数据库架构3.1.1连接层3.1.2PE层(
jerry-89
·
2023-06-10 06:39
pg
数据库
big
data
postgresql
CentOS 安装
ClickHouse
ClickHouse
是一款列式分布式数据库,目前在CentOS上都是以rpm来安装的,因为我们可能需要自定义一些功能,并做一些自定义的部署规范需求,比较适合自己进行打包部署。
BIGrey
·
2023-06-10 01:01
doris---
物化视图
及pv、uv案例实现
物化视图
就是查询结果预先存储起来的特殊的表。
咚动咚
·
2023-06-09 23:33
uv
数据库
java
浅谈 ByteHouse Projection 优化实践
预聚合是OLAP系统中常用的一种优化手段,在通过在加载数据时就进行部分聚合计算,生成聚合后的中间表或视图,从而在查询时直接使用这些预先计算好的聚合结果,提高查询性能,实现这种预聚合方法大多都使用
物化视图
来实现
字节数据平台
·
2023-06-09 21:55
数据库
clickhouse
olap
开源 Golang 微服务入门三:ORM 框架 GORM
官方文档GORM是面向Golang语言的一种ORM(持久层)框架,支持多种数据库的接入,例如MySQL,PostgreSQL,SQLite,SQLServer,
Clickhouse
。
yumuing
·
2023-06-09 21:16
后端开发
golang
微服务
云原生
Clickhouse
系列之整合Hive数仓
前言什么是Hive?ApacheHive数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱动程序,用于将用户连接到Hive。Hive引擎允许您对HDFS配置单元表执行SELECT查询。目前支持如下输入格式:文本:仅支持简单标量列类型,二进制除外;ORC:支持除char以外的简单标量列类型;仅支持数组等复杂类型;p
小二上酒8
·
2023-06-09 19:22
hive
clickhouse
数据库
中间件
开发语言
clickhouse
21.x生产实践优化
1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串,全String类型在以Hive(hbase)为中心的数仓建设中常见,但
ClickHouse
环境不应受此影响。
架构师老狼
·
2023-06-09 15:15
OLAP
架构设计
clickhouse
OLAP
clickhouse
优化最佳实践
clickhouse
在易企秀数据仓库项目中已投入使用两年,主要为内部用户提供快速查询和多维分析的能力;希望你在业务当中遇到的性能问题,在这里都能得到解决
Clickhouse
堪称OLAP领域的黑马,最近发布的几个版本在多表关联分析上也有了极大的性能提升
weixin_42993799
·
2023-06-09 15:12
clickhouse
大数据
ClickHouse
集群部署 全网最佳实践
一、准备工作:1.机器准备:我们准备了6台机器用来部署
clickhouse
,准备搭建一个3分片2副本集群,当然也可根据你自己实际情况选择机器数量。
lzx专业攻城狮
·
2023-06-09 15:12
数据库
sql
zookeeper
linux
负载均衡
clickhouse
查询优化_
clickhouse
优化最佳实践(持续更新...)
clickhouse
在易企秀数据仓库项目中已投入使用两年,主要为内部用户提供快速查询和多维分析的能力;希望你在业务当中遇到的性能问题,在这里都能得到解决
Clickhouse
堪称OLAP领域的黑马,最近发布的几个版本在多表关联分析上也有了极大的性能提升
Gigiain
·
2023-06-09 15:11
clickhouse
查询优化
clickhouse
hadoop_
ClickHouse
国家级项目最佳实践
原标题:
ClickHouse
国家级项目最佳实践编者按
ClickHouse
自从2016年开源以来,在数据分析(OLAP)领域火热,各个大厂纷纷跟进大规模使用,百分点在某国家级项目中的完成了多数据中心的
ClickHouse
神丶废
·
2023-06-09 15:40
clickhouse
hadoop
Clickhouse
专业避坑指南&最佳实践
原文地址:
Clickhouse
专业避坑指南&最佳实践前言本文通过列举一些用户在使用
Clickhouse
时经常遇到的问题,通过分析这些问题并提供最佳实践方式,从而帮助读者更好的将
Clickhouse
融入到生产环境中
浮世Talk
·
2023-06-09 15:36
数据库
java
大数据
clickhouse
插入最佳实践
背景:对于使用
clickhouse
来说,和使用mysql等数据库相比,比较需要注意一点是它的数据插入,由于
clickhouse
后台使用合并各个part分区的方式进行数据合并,所以也就意味着对于ck来说分批插入才是更好的数据插入方式
lixia0417mul2
·
2023-06-09 15:04
clickhouse
clickhouse
数据库
服务器
上一页
31
32
33
34
35
36
37
38
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他