clickhouse查询优化

EFK升级到ClickHouse的日志存储实战

0、背景唯品会日志系统dragonfly1.0是基于EFK构建，于2014年服务至今已长达7年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，主要表现在应用数量和打印的日志越来越多，开发需要打印更多日志，定位业务问题，做出运营数据分析；另外外部攻击问题和审计要求，需要更多安全相关的日志数据要上报并且能
Impl_Sunny·2023-11-12 21:50

Join关联查询优化及原理

采用左外连接下面开始EXPLAIN分析EXPLAINSELECTSQL_NO_CACHE*FROM`type`LEFTJOINbookONtype.card=book.card;结论：type有All添加索引优化ALTERTABLEbookADDINDEXY(card);#【被驱动表】，可以避免全表扫描EXPLAINSELECTSQL_NO_CACHE*FROM`type`LEFTJOINbook
small_engineer·2023-11-12 16:25

ClickHouse-尚硅谷（4. 入门-表引擎）学习笔记

上一篇：（3.入门-数据类型）学习笔记下一篇：（5.入门-SQL操作）学习笔记文章目录1表引擎的使用2TinyLog3Memory4MergeTree*4.1partitionby分区(可选)4.2primarykey主键(可选)4.3orderby（必选）4.4二级索引(跳数索引)4.5数据TTL（数据存活时间）5ReplacingMergeTree6SummingMergeTree1表引擎的使
yuan_404·2023-11-12 14:22

ClickHouse-尚硅谷（11. 高级-查询优化）学习笔记

上一篇：（10.高级-语法优化规则）学习笔记下一篇：（12.高级-数据一致性）学习笔记文章目录1单表查询1.1Prewhere替代where1.2数据采样1.3列裁剪与分区裁剪1.4orderby结合where、limit1.5避免构建虚拟列1.6uniqCombined替代distinct1.7使用物化视图1.8其他注意事项2多表关联2.1准备表和数据2.2用IN代替JOIN2.3大小表JOIN
yuan_404·2023-11-12 14:22

Clickhouse学习笔记（11）—— 数据一致性

使用合并树引擎时，无论是ReplacingMergeTree还是SummingMergeTree，都只能保证数据的最终一致性，因为数据的去重、聚合等操作会在数据合并的期间进行，而合并会在后台以一个不确定的时间进行，因此无法预先计划；数据准备建表：CREATETABLEtest_consistence(user_idUInt64,scoreString,deletedUInt8DEFAULT0,cr
THE WHY·2023-11-12 14:18

Clickhouse学习笔记（12）—— 物化视图

ClickHouse的物化视图是一种查询结果的持久化，与普通视图对比，其不仅保存了查询的逻辑，还保存了查询结果；物化视图与普通视图的区别普通视图不保存数据，保存的仅仅是查询语句，查询的时候还是从原表读取数据
THE WHY·2023-11-12 14:18

Clickhouse 学习笔记（7）—— 查看执行计划

在clickhouse20.6版本之前要查看SQL语句的执行计划需要设置日志级别为trace才能可以看到，并且只能真正执行sql，在执行日志里面查看在20.6版本之后可以通过explain语句查看执行计划基本语法
THE WHY·2023-11-12 14:47

Clickhouse学习笔记（8）—— 建表优化

数据类型时间字段建表时能用数值型或日期时间类型（DateTime）表示的字段就不要用字符串因为clickhouse进行分区时一般使用时间字段来进行分区，而将时间字段使用DateTime表示，不需要经过函数转换处理
THE WHY·2023-11-12 14:47

Clickhouse学习笔记（9）—— 语法优化

ClickHouse的SQL优化规则是基于RBO(RuleBasedOptimization）实现的官方数据集的使用为了方便测试CK的语法优化规则，尝试使用官方提供的数据集；需要使用的数据集是visits_v1
THE WHY·2023-11-12 14:47

《ClickHouse原理解析与应用实践》读书笔记（1）

开始学习《ClickHouse原理解析与应用实践》，写博客作读书笔记。本文全部内容都来自于书中内容，个人提炼。前言和推荐略过第1章ClickHouse的前世今生跟ck没多大关系，过一遍就行。
Aiky哇·2023-11-12 14:15

Clickhouse学习笔记01——入门及安装

文章目录一、Clickhouse入门1.使用场景2.Clickhouse的特点2.1列式存储2.2DBMS功能2.3多样化引擎2.4高吞吐写入能力2.5数据分区和线程并行2.6一些限制2.7哪些公司在使用
mp9105·2023-11-12 14:44

Clickhouse学习笔记（10）—— 查询优化

单表查询Prewhere替代whereprewhere与where相比，在过滤数据的时候会首先读取指定的列数据，来判断数据过滤，等待数据过滤之后再读取select声明的列字段来补全其余属性简单来说就是先过滤再查询，而where过滤是先查询出对应的列字段来，再根据过滤条件过滤数据；因此对比之下，使用prewhere过滤处理的数据量要更少，效率也就更高；但需注意，prewhere只可适用于merget
THE WHY·2023-11-12 14:10

Java数据结构书籍推荐，MySQL：互联网公司常用分库分表方案汇总

推荐：一次SQL查询优化原理分析**分析：**表的数据量少了，单次SQL执行效率高，自然减轻了CPU的负担。3、垂直分库**概念：**以表为依据，按照业务归属不同，将不同的表拆分到不同的库中。
m0_60732581·2023-11-12 05:06

Clickhouse学习笔记（3）—— Clickhouse表引擎

前言：有关Clickhouse的前置知识详见：1.ClickHouse的安装启动_clickhouse后台启动_THEWHY的博客-CSDN博客2.ClickHouse目录结构_clickhouse目录结构
THE WHY·2023-11-12 00:52

Clickhouse学习笔记（5）—— ClickHouse 副本

DataReplication|ClickHouseDocs副本的目的主要是保障数据的高可用性，即使一台ClickHouse节点宕机，那么也可以从其他服务器获得相同的数据注意：clickhouse副本机制的实现要基于
THE WHY·2023-11-12 00:52

Clickhouse 学习笔记（6）—— ClickHouse 分片集群

前置知识：Clickhouse学习笔记（5）——ClickHouse副本-CSDN博客与副本对比：副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决要解决数据水平切分的问题
THE WHY·2023-11-12 00:52

Clickhouse学习笔记（4）—— Clickhouse SQL

insertinto[table_name]values(…),(….)从表到表的插入：insertinto[table_name]selecta,b,cfrom[table_name_2]update和deleteClickHouse
THE WHY·2023-11-12 00:18

在Ubuntu主机上使用USB无线网卡

前言上个月冲动消费攒了一台华擎DeskMiniX300小主机，装了Ubuntu22.04，用来解决M1芯片MacBookPro上无法编译x86_64架构的StarRocks和ClickHouse的问题。
疯狂撸代码的奋青·2023-11-11 17:31

Apache Airflow (三) ：Airflow WebUI操作介绍

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-11 09:19

Apache Airflow (四) ：Airflow 调度shell命令

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-11 09:46

mysql数据库中查询优化

在我们使用传统数据库Mysql时，会有许多查询性能低下。而这个问题在当前许多分布式及商业数据库中，查询性能低下的事件并不多见了。在这里讲一下当前开发中遇到的in条件和join条件查询性能的区别一、使用in条件进行查询selectwtime,sum(f20)/100000000fromstock_info.ads_all_stockt_infowherenamein(selectnamefromou
PT、小小马·2023-11-11 04:25

ClickHouse Keeper 源码解析

内容框架：1.背景2.架构图3.核心流程图梳理4.内部代码流程梳理5.Nuraft关键配置排坑6.结论7.关于我们8.Reference背景注：以下代码分析版本为开源版本ClickHousev21.8.10.19
阿里云技术·2023-11-11 00:03

clickhouse-keeper简介及使用

一、ClickHouse-Keeper是什么：ClickHouse社区在21.8版本中开始引入了ClickHouse-Keeper，直至ClickHouse21.12发布公告提到ClickHouseKeeper
老朱-yubing·2023-11-11 00:32

clickHouse版本升级以及切换clickhouse keeper

clickHouse版本升级以及切换clickhousekeeper文章目录clickHouse版本升级以及切换clickhousekeeper前言准备工作开始升级zookeeper切换clickhousekeeperzookeeper
一只搬砖人·2023-11-11 00:31

ClickHouse-Keeper

一、官网信息https://clickhouse.com/docs/en/operations/clickhouse-keeper/二、基本介绍1.简介ZooKeeper最早的非常著名的开源协调系统之一
樱桃小丸犊子_q·2023-11-11 00:00

ClickHouse-Keeper部署

切换clickhousekeeper1.单独部署（即clickhouse-server和clickhousekeeper起俩个进程运行）1.检测端口是否被占用netstat-anp|grep9181##
樱桃小丸犊子_q·2023-11-11 00:00

ClickHouse Keeper: Coordination without the drawbacks没有缺点的分布式协作系统

ClickHouseKeeper介绍现代分布式系统需要一个共享和可靠的信息存储库和共识系统来协调和同步分布式操作。对于ClickHouse来说，ZooKeeper最初是被选中的。
enjoy编程·2023-11-11 00:27

Clickhouse数据库七：配置高可用（复本）

Clickhouse数据库七：配置高可用（复本）副本的目的主要是保障数据的高可用性，即使一台clickhouse节点宕机，那么也可以从其他服务器获得相同的数据。
大数据面壁者·2023-11-10 21:03

浅谈Elasticsearch性能优化和调优

本文将详细讲解Elasticsearch的性能优化和调优技巧，包括硬件配置、内存管理、缓存策略和查询优化等。1.硬件配置合适的硬件配置是Elasticsearch性能优化的基础。
~奔跑的简默~·2023-11-10 21:03

ClickHouse部署全攻略——安全配置

暂不建议修改）Usersettings：用户配置以rsyslog形式写入系统日志直接发送到rsyslog接收服务端（不推荐）留存本地，是否发送由rsyslog统一制定（推荐）启用openSSL安全协议为clickhouse
家里有只小螃蟹·2023-11-10 21:31

浅谈ClickHouse安全性和权限管理

ClickHouse安全性和权限管理ClickHouse是一个高性能、列式存储的分布式数据库，广泛应用于实时数据分析、大数据处理等场景。
~奔跑的简默~·2023-11-10 21:00

深入理解ClickHouse跳数索引

一、跳数索引影响ClickHouse查询性能的因素很多。在大多数场景中，关键因素是ClickHouse在计算查询WHERE子句条件时是否可以使用主键。
Doker 多克 技术人的数码品牌·2023-11-10 21:29

如何修改已创建容器为开机自启动状态

一.检查容器的自启动状态1.命令dockerinspect|grepRestartPolicy-A42.例子dockerinspectclickhouse-server|grepRestartPolicy-A43
其樂无穷·2023-11-10 20:07

在Mongodb查询语句中使用hint()

通过查看Mongodb查询语句的执行计划，可以查看该语句通过查询优化器选中的执行计划和备选的执行计划。
wilsonzane·2023-11-10 20:33

【clickhouse】一个性能问题，把一个中间件从头到位翻了个遍

现象团队在前期引入了clickhouse，业务上端口进行审计，每天的数据量很大，测试小伙伴在测试的时候，使用pcap回放，将千兆带宽几乎跑满，出现每天大概一亿的数据量，导致界面实时查询很慢，因为是一台物理机部署多个服务
yan0219n·2023-11-10 16:26

Django周总结一

django生命周期3，django下载，安装，django中文件解析，wsgiref模块4，路由层：路由与视图函数对应关系(urls.py)5，视图层6，模板层7，模型层8，事务，字段，数据库连接，数据库查询优化
weixin_30668887·2023-11-10 12:42

C语言：__restrict关键字提升性能

据说Clickhouse用这个关键字提升了1.6倍的聚合函数性能。作者：疾风2018链接：https://www.jianshu.com/p/2f1d86dffb26
秦时明月之君临天下·2023-11-10 10:26

SQL Server中的查询优化技术：数据库设计和体系结构

描述(Description)Oneofthebestwaystooptimizeperformanceinadatabaseistodesignitrightthefirsttime!Makingdesignandarchitecturedecisionsbasedonfactsandbestpracticeswillreducetechnicaldebtandthenumberoffixest
culuo4781·2023-11-10 05:24

ClickHouse主键索引最佳实践

在本文中，我们将深入研究ClickHouse索引。
Doker 多克 技术人的数码品牌·2023-11-10 04:17

为什么IN操作符一般比OR操作符清单执行更快

IN操作符一般比OR操作符清单执行更快的主要原因有以下几点：查询优化：数据库管理系统通常会针对IN操作符进行更好的查询优化。
Channing Lewis·2023-11-10 01:50

一百二十六、DBeaver——导入CSV文件（文件中无表字段）到ClickHouse

一、目标：将CSV文件的数据导入到ClickHouse中备注：CSV文件没有表字段，只有纯粹的数据二、实施步骤第一步，右击表名，选择导入数据第二步，在源类型和格式，选择从CSV文件导入，然后下一步，选择要导入的目标文件第三步
天地风雷水火山泽·2023-11-09 19:11

MongoDB 索引

类似关系型数据库，mongodb也建立自己的一套索引机制和查询优化方法。本文简单介绍mongodb的索引。后续文章讲详细介绍索引的操作，监控和查询优化方法等。
wilsonzane·2023-11-09 17:39

使用explain()查看mongodb查询语句的执行计划

与mysql,oracle等关系数据库类似，mongodb通过查询优化器，为每一个查询语句计算出最优的查询计划，包括选择的索引，查询时间，扫描的记录，扫描的索引数量，备选执行计划等信息。
wilsonzane·2023-11-09 17:19

Centos安装clickhouse

[root@localhostclickhouse]#sudoyuminstall-yyum-utilssudoyum-config-manager--add-repohttps://packages.clickhouse.com
Hamilton_Huan·2023-11-09 14:49

银河麒麟V10高级服务器操作系统clickhouse数据迁移技术全网唯一

银河麒麟V10操作系统clickhouse数据迁移技术前言笔者自述：笔者本人为中国软件行业国产化进程中的一份子，本人也是非常支持华为手机以及鸿蒙操作系统。
技术很渣·2023-11-09 10:16

简单记录一下Springboot配置不同数据源(clickhouse和mysql)

Maven依赖ru.yandex.clickhouseclickhouse-jdbc0.1.52com.alibabadruid-spring-boot-starter1.1.17com.baomidoudynamic-datasource-spring-boot-starter3.5.1application.yml
不吃海椒°·2023-11-09 09:22

springboot + mybatis-plus + clickhouse + mysql 多数据源配置及问题记录

1.83.4.1com.baomidoumybatis-plus-boot-starter${mybatis-plus.version}com.baomidoumybatis-plus-extension${mybatis-plus.version}ru.yandex.clickhouseclickhouse-jdbc0.2.4com.github.pagehelperpagehelp
大龄码农一枚·2023-11-09 09:52

springboot+mybatisplus+druid配置mysql与clickhouse多数据源配置

springboot+mybatisplus+druid配置mysql与clickhouse多数据源配置1、导入jar包com.alibabadruid-spring-boot-starter1.2.6ru.yandex.clickhouseclickhouse-jdbc0.2.4mysqlmysql-connector-javacom.baomidoudynamic-datasource-spr
夏夜暗灯·2023-11-09 09:18

SpringBoot实现mysql与clickhouse多数据源

一、我们来实现一个mysql与clickhouse多数据源配置二、数据源配置#指定服务名称spring:application:name:demobigdatadatasource:driver-class-name
爱上雪茄·2023-11-09 09:14

clickhouse.22.8.3.13单机版安装

介绍1、clickhouse是一款优秀的开源MPP数据库。
爱上雪茄·2023-11-09 08:07
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他