clickhouse查询优化

单表 1000 万条数据，TDengine 助力麦当劳中国实现 PERCENTILE 秒级查询优化

PERCENTILE函数用于统计表中某列的值百分位数，某一百分位所对应数据的值就称为这一百分位的百分位数，比如90%的分位数的值，代表有90%的数小于该分位数的值，10%的数大于该分位数的值。0和100也就相当于集合的最小值跟最大值。在具体业务中，我们经常用这一函数来衡量服务响应延迟，以最常用的p99为例，它衡量了99%的情况下能达到的最大延迟，99%的请求都低于这个数值，即绝大多数情况下的最差情
涛思数据（TDengine）·2023-11-03 16:40

java limit 分页查询_案例挖掘：千万数据表Limit 分页查询优化

前言在各类系统的表格类信息展示的功能中，经常会用到“翻页”这个操作，在页面上每次只展示有限的数据，需要看其他数据的时候则像翻书一样翻到后面的“页”。在MySQL支持的SQL语法中对此有特殊的支持，开发人员在实现这类功能的时候很方便：select*fromxxxlimitM,Nselect*fromxxxlimitNoffsetM这两类语法代表的意思是一样的：返回从第M开始(不包括这一行)之后的N行
叫我李狗蛋吧·2023-11-03 16:50

Clickhouse 2022 Roadmap

梳理下ClickHouse社区未来一年的主要工作。ClickHouse-keeper这项工作基本完成了，但是还需要进一步更新文档。备份恢复备份表，数据库，服务器和集群。增量备份。支持部分恢复。
生命的奋进·2023-11-03 10:51

node_exporter+prometheus+grafana实现clickhouse及主机监控

1.从github下载prometheus及相关安装包wgethttps://github.com/prometheus/prometheus/releases/download/v2.27.1/prometheus-2.27.1.linux-amd64.tar.gzwgethttps://github.com/prometheus/alertmanager/releases/download/v
sinat_27747695·2023-11-03 09:25

MySQL 外连接和内连接的查询优化怎么做？

内连接的意思就是把两个表有关联的部分都取出来，不分主表和次表，在连接时从我们的角度来说是不分谁是驱动表谁是被驱动表，但MySQL的查询优化器底层会做一个初步计算，计算出谁作为驱动表效率更高；外连接则又分为左外连接
程序猿ZhangSir·2023-11-03 07:57

python连接clickhouse、mysql、达芬奇库Davinci、hive

存一下用到过的连接方式1.ck库#连接ck库importpandasaspdfromclickhouse_driverimportClientimportreclient=Client(host='10.1.8.126
秃头逮虾户·2023-11-03 02:36

Python clickhouse_client 连接远程ck server

importsshtunnelassshtunnelfromclickhouse_driverimportconnectserver=sshtunnel.SSHTunnelForwarder(('**.
会飞的尼古拉斯·2023-11-03 02:35

【Python】python—clickhouse 连接以及sql语句运行

python—clickhouse连接1.安装驱动包win+R打开cmd，输入如下安装代码pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simpleclick_driver2
小周ipython·2023-11-03 02:35

python连接clickhouse

步骤一：安装包pipinstallclickhouse-driverpipinstallclickhouse_sqlalchemypipinstallsqlalchemy步骤二：连接fromclickhouse_sqlalchemyimportmake_sessionfromsqlalchemyimportcreate_engineimportpandasaspdconf
静听山水·2023-11-03 02:05

利用python连接clickhouse数据库

探索发现python可以直连clickhouse，以后大家就可以发挥出python的数据分析优势，以及CK数据库秒级的大数据查询能力。
我在翡翠湖边·2023-11-03 02:34

python连接clickhouse （CK）

58LastEditors:[email protected]:2023-11-0111:36:25FilePath:\PythonProject02\Python读取clickhouse2
你的凯子很吊·2023-11-03 02:33

clickhouse 在hdfs 和本地推数据

CREATETABLEtest.democcc(idInt8,nameString)ENGINE=Log;hadoopfs-cat/test001/zgh/tmp/demoaaa/*|clickhouse-client
早点起床晒太阳·2023-11-02 12:09

python3 阿里云api进行巡检发送邮件

，给了下面的，看看能不能使用吧根据您提供的代码，您需要安装以下Python库：HTMLTable（来自HTMLTable库）email.mime.multipart（来自email库）paramikoclickhouse-driv
XMYX-0·2023-11-02 07:16

clickhouse shard和replica

http://liangfan.tech/2019/01/02/%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3ClickHouse%E4%B9%8B5-ClickHouse%E9%
xuxw·2023-11-02 02:22

mysql一次查询无关联多个表_MySQL多表查询优化

一、多表查询连接的选择：相信这内连接，左连接什么的大家都比较熟悉了，当然还有左外连接什么的，基本用不上我就不贴出来了。这图只是让大家回忆一下，各种连接查询。然后要告诉大家的是，需要根据查询的情况，想好使用哪种连接方式效率更高。二、MySQL的JOIN实现原理在MySQL中，只有一种Join算法，就是大名鼎鼎的NestedLoopJoin，他没有其他很多数据库所提供的HashJoin，也没有Sort
一席茶话·2023-11-01 18:21

Log4j-tag丢失

一、引言最近有个线上日志丢失tag的问题，是组内封装了后置请求的拦截器把请求的响应结果存到ClickHouse里面去，但是日志总有一些tag丢失。
tingmailang·2023-11-01 17:46

对多进程部署的一次感受

因为监控的数据都是通过clickhouse存储，所以数据的采集需要写clickhouse的SQL脚本，这次写还get了获取clickhouse日期的方法，之前都是通过js手动获取当天日期，然后插到sql
般犀·2023-11-01 13:22

2021-02-28

Mysql6000w数据表的查询优化到0.023S创誉代码sycoding前言很抱歉现在才把这篇文章发出来，这几天事情比较多，周四把任务完成才得空写一写，闲话不多说请看下↓↓↓详细需求系统中有一个专门存车流量的库
创誉代码·2023-11-01 10:28

Apache Doris (四十九）： Doris表结构变更-动态分区(1)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-01 10:58

Apache Doris (五十）： Doris表结构变更-动态分区(2)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-01 10:19

MySQL分页查询优化

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history描述：某个业务的订单历史表主要字段：unsignedintid，tinyint(4)intt
youyouzh·2023-11-01 08:41

Clickhouse自定义UDF函数

文章目录一、python环境二、config.xml添加内容三、xml文件四、py文件五、CK操作一、python环境需要安装python3环境二、config.xml添加内容config.xml添加如下内容，这里是*_function.xml，所以后续的xml文件都要以_function.xml结尾：*_function.xml三、xml文件放在config.xml同级目录下，内容示例：xxex
等闲之辈莫等闲·2023-11-01 07:53

hive的udf通过Waterdrop把hive的数据抽到ClickHouse

1,因业务需要把hive的数据通过WaterDrop抽取到clickhouse，但是每次都要写配置文件，故写一个配置文件自动生成配置信息.1，版本信息： waterdrop版本：1.5.0 spark版本
wppwpp1·2023-11-01 07:53

SparkSQL & ClickHouse RoaringBitmap使用实践

文章目录简介ClickHouse简介RoaringBitmap（RBM）原理ClickHouse中使用RBM存在的问题RoaringBitmap（RBM）定制序列化实现ClickHouse中RoaringBitmap
涛声依旧（竞涛）·2023-11-01 07:17

ClickHouse 创建数据库建表视图字典 SQL

1.1.ClickHouseSQL之****数据定义语言DDL本节介绍ClickHouse中进行数据库、表结构的定义和管理。
m0_67391907·2023-11-01 07:14

ClickHouse UDF编写示例

ClickHouseUDF编写在ClickHouse22版本以后提供了UDF的功能,能够通过编写python，go等脚本的方式实现自己的业务逻辑，除了提供类似SqlServer、MySQLCREATEFUNCTION
灯火阑珊`·2023-11-01 07:44

Clickhouse 用户自定义外部函数

·写在前面Clickhouse从21.11版本开始，除了提供类似SqlServer、MySQLCREATEFUNCTION的自定义函数之外，还有一个用户自定义函数（UDF），与其说是“用户自定义函数”，
Moonxiyue·2023-11-01 07:11

ClickHouse Java多参UDF

一、环境版本环境版本dockerclickhouse22.3.10.22dockerpullclickhouse/clickhouse-server:22.3.10.22二、XML配置2.1配置文件#创建
sleetdream·2023-11-01 07:37

Hive优化

文章目录1.CBO优化2.谓词下推3.矢量化查询优化4.Fetch抓取优化5.本地模式6.并行执行7.严格模式1.CBO优化#启用CBO优化sethive.cbo.enable=true;2.谓词下推通俗的来讲就是
肥大毛·2023-11-01 04:13

互联网企业都在用的Kafka为什么可以这么快？

在数据的存储上有clickhouse、Hbase等大数据库来完成，在数据的分析上一般也是借助clickhouse或hbase的特性将数据分维度进行，而在数据的传输上，大家都不约而同使用了Kafka。
AI课工场·2023-11-01 02:44

clickhouse

文章目录在线体验平台概念引擎库引擎表引擎合并树***MergeTreeReplacingMergeTree日志TinyLog集成引擎特定功能存储原理数据复制system.processes表数据类型部署安装验证集群数据副本分布式表连接常用语句CREATE创建ALTERSHOW查看INSERTINTO导入数据删除DROP、TRUNCATE、DETACHKILL函数表函数聚合函数客户端cli在线web
xyc1211·2023-11-01 02:13

SQL优化的详细概念

查询优化器：查询优化器是数据库管理系统的一部分，它负责分析SQL查询语句，并生成一个执行计划，该计划定义了如何在数据库中获取所需的数据。优化器会考虑多种执行计划，并选择最优的执行路径。
雾漫江北·2023-11-01 02:34

【MySQL索引与优化篇】索引优化与查询优化

索引优化与查询优化文章目录索引优化与查询优化1.概述2.索引失效案例3.关联查询优化3.1Join语句原理3.2SimpleNested-LoopJoin（简单嵌套循环连接）3.3IndexNested-LoopJoin
比尔高特·2023-11-01 00:39

Apache Doris在蜀海供应链的实践

当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop，Hive，Spark，Presto，但是这些都满足不了我的需求，在调研Clickhouse
hf200012·2023-10-31 20:59

linux环境mysql安装配置踩坑

，我本来想使用大数据clickhouse后面被否定了，那我就按照领导的来吧，后面会
喜羊羊love红太狼·2023-10-31 19:52

clickhouse聚合之内存不足怎么办？那就提升聚合性能

当你遇到clickhouse内存溢出，内存不足报错，如包含Exception:Memorylimit(forquery)、Exception:Memorylimit(total)exceeded等，这样的错误时候
奇怪的守护神·2023-10-31 11:24

Apache Doris (四十七）： Doris表结构变更-Schema变更

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-10-31 07:52

Apache Doris (四十八）： Doris表结构变更-替换表

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-10-31 07:17

clickhouse分层存储

在/etc/clickhouse-server/config.d/config.xml加入/mnt/h/clickhouse#ssd数据目录/mnt/e/clickhouse#普通盘数据目录104857600
pcmagic5328·2023-10-30 17:59

【Mysql】Mysql单表访问方法

我们知道，MySQLServer有一个查询优化器的模块，一条查询语句进行语法解析之后就会被交给查询优化器来进行优化，优化的结果就是生成一个所谓的执行计划，这个执行计划表明了应该使用哪些索引进行查询，表之间的连接顺序是怎样的
margu_168·2023-10-30 09:09

GORM GEN 生成代码如何自定义方法和表名

GORMGEN:是安全&友好的goorm框架，基于gorm，支持多种数据库，mysql、sqlserver、postgres以及clickhouse等，通过代码生成的方式，生成安全&友好的orm代码，同时也支持类似
林欣快滚去学习·2023-10-30 06:32

Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privilege

解决方式systemctlrestartclickhouse-server#重启systemctlstartclickhouse-server#启动systemctlstatusclickhouse-server
你的凯子很吊·2023-10-29 09:31

2023年最全新面试题含答案-【面试大全之100问-第一刊】

查询优化：编写高效的查询语句可以减少数据库的负载。避免使用全表扫描，使用合适的查询条件和连接条件，避免不必要的数据加载和计算。数据库设计优化：良好的数据库设
普修罗双战士·2023-10-29 05:02

【笔记】clickhouse数据库报“表只读”报错

有时候由于zookeeper重启，或者性能压力过大的情况下，clickhouse数据库会报“表只读”的错误，这个时候一般需要对表进行恢复，具体操作如下：首先查看对应库的所有表明use;showtables
JosenChina·2023-10-29 04:16

开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
zhisheng_blog·2023-10-28 21:59

ClickHouse快速了解

简介ClickHouse是一个开源列式数据库管理系统（DBMS），用于在线分析处理（OLAP）：列式存储：与传统的行式数据库不同，ClickHouse以列的形式存储数据，这使得在分析大量数据时能够获得更好的性能和压缩率
Joy T·2023-10-28 21:29

Sentry(v20.12.1) K8S 云原生架构探索，玩转前/后端监控与事件日志大数据分析，高性能+高可用+可扩展+可伸缩集群部署

将它部署到Kubernetes，再搭配它本身自带的利用Clickhouse（大数据实时分析引擎）构建的Snuba服务进行数据分析~简直了。
Hi为少·2023-10-28 21:17

Centos7中Clickhouse启动时报错Code: 210

Centos7Clickhouse启动时报错Code:210.DB::NetException:Connectionrefused(localhost:9000)报错如下：检查步骤1、查看配置文件配置文件路径
Fresh_anyu·2023-10-28 19:56

致ClickHouse用户的一封信

亲爱的ClickHouse用户：您好！感谢您在百忙之中抽出时间来阅读此信。虽然未曾谋面，但我们关注您已经有很长一段时间了。
zhisheng_blog·2023-10-28 17:05

Kylin、Druid、ClickHouse核心技术对比

导读Kylin、Druid、ClickHouse是目前主流的OLAP引擎，本文尝试从数据模型和索引结构两个角度，分析这几个引擎的核心技术，并做简单对比。
王知无(import_bigdata)·2023-10-28 08:28
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他