ClickHouse分片

Elasticsearch性能优化实践

目录背景现状优化措施写性能优化按天拆分索引冷热分离服务器配置调整内存分配去掉复制分片字段设计查询小技巧索引垂直拆分成果背景公司使用es存储全链路追踪的日志数据，生产环境数据量比较大，上线之后集群频繁卡死
咦940·2024-01-08 23:57

数仓建设学习路线（二）模型建设(1)

OLAP概念全称OnLineAnalyticalProcessing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、K
语兴数据·2024-01-08 18:58

java技术专家【分布式框架】Mycat2应用与实战教程（五）

实现分库分表6.1分库分表概念回顾6.1.1分库操作6.1.2分表操作6.2分库分表环境准备6.2.1修改MyCat集群配置6.2.2添加数据源6.2.2添加集群配置6.3进行分库分表6.3.1实现数据分片
不走小道·2024-01-08 16:15

网络层协议及IP编址

IP报文格式数据包分片什
王嘟嘟_·2024-01-08 07:30

olap/spark-tungsten：codegen

因为clickhouse没有codegen，这节课就拿我比较熟悉的spark的tungsten来当例子，tungsten会g
SakamataZ·2024-01-08 07:28

《向量数据库指南》——传统数据库上的向量搜索插件

很多传统关系型数据库和搜索系统，如ClickHouse和Elasticsearch，都包含内置的向量搜索插件。
LCHub低代码社区·2024-01-08 06:19

Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表

它们都提供数据分片，分布式事务和数据库编排功能，适用于Java同构，异构语言和云原生等各种情况。二、创建项目如下：使用STS创建SpringBoot项目，使用MVC三层结构开发代码：1）配置P
Liuzhoulin·2024-01-08 04:14

DDIA 第六章：分区

对于非常大的数据集，或非常高的吞吐量，仅仅进行复制是不够的：我们需要将数据进行分区（partitions），也称为分片（sharding）。通常情况下，每条
负雪明烛·2024-01-07 22:32

SpringBoot2.6.x整合Elasticsearch7.17

Elasticsearch术语：索引，类型，文档，字段集群，节点，分片，副本要想使用es搜索数据，前提是要在es中把数据再存一份。索引（index）
Ethereal@_@·2024-01-07 17:57

ClickHouse查询语句详解

ClickHouse查询语句兼容大部分SQL语法，并且进行了更加丰富的扩展，查询语句模板如下：[WITHexpr_list|(subquery)]SELECT[DISTINCT[ON(column1,column2
万里长江雪·2024-01-07 16:39

内存数据库Redis 7.2性能优化经验技巧

数据库的内存限制是一个重要的性能因素，它定义了数据库在集群上所有数据库副本和分片可以达到的最大大小。这个限制也将决定你需要的分片数量。
weixin_30777913·2024-01-07 10:04

Redis集群模式2-RedisCluster模式

从Redis3.0开始官方推出了RedisCluster集群模式，采用分片集群模式，可以减少冗余数据，但也提高了集群成本，RedisCluster集群最大的优点：动态扩容、缩容。
轻轻敲醒沉睡的心灵·2024-01-07 09:57

SpringBoot基于Redis(7.2)分片集群实现读写分离

文章目录一、前置提要二、集群搭建三、SpringBoot访问分片集群一、前置提要SpringBoot访问Redis分片集群和Redis哨兵模式，使用上没有什么区别。
木子dn·2024-01-07 09:40

Elasticsearch的性能优化思路

合理分片：合理设置索引分片数。过多的分片
薛定谔的zhu·2024-01-07 09:58

迁移数据mysql到clickhouse

场景：项目上需要将mysql表中数据迁移到clickhouse。
喜羊羊love红太狼·2024-01-07 08:04

华为HCIA课堂笔记第四章 网络层协议与IP编址

该字段主要用于Qos（服务质量）总长度：IP头部与数据部分之和标识（Identifier）：用于数据包分和重组，分片后的多个IP报文如果标识相同，则表明这些报文原来于同一
菜鸟_老A·2024-01-07 06:32

大文件切片上传和断点续传

这里写目录标题大文件分片上传大文件切片上传过程代码断点上传过程大图片上传多文件上传图片缩略图和视频预览大文件分片上传前端知识点md5加密算法用于确保信息传输完整一致sparkmd5在散列大量数据（例如文件
tutou_girl·2024-01-07 05:05

js文件上传 分片上传/断点续传/极速秒传

(极速秒传)利用md5判断上传的文件是否存在MD5信息摘要算法，一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hashvalue），用于确保信息传输完整一致。每一个文件都会生成一个不同的md5编码例：【3a94b8ca53dea8524d16c4e39dd43a69】优点服务器中不会出现重复文件极速秒传传输文件先校验md5，减小服务器压力思路是在文件上传到服务器前，将文
寻ing·2024-01-07 05:30

springboot redis使用lettuce配置多数据源

目前项目上需要连接两个redis数据源，一个redis数据源是单机模式，一个redis数据源是分片集群模式，这里将具体配置列一下。
BinaryBoss·2024-01-07 04:38

ClickHouse的表引擎介绍（三）

TinyLog二、Memory三、MergeTree四、ReplacingMergeTree五、SummingMergeTree六、Integrations（集成引擎）-[**ODBC**](https://clickhouse.com
Java技术债务·2024-01-06 23:04

mysql 性能优化

1、服务器层面：参数配置优化、减少客户端使用连接数--可考虑使用缓存2、架构层面:”读写分离、分库、分表、分片3、业务sql层面：查看慢查询日志、sql优化showvariableslike'%slow_query
延歌_·2024-01-06 22:59

Linux企业运维——Redis的安装部署及主从复制、master自动切换,redis、mysql读写分离

主从复制四、Sentine主从自动切换1.配置sentinel文件2.master自动切换五、redis的集群cluster集群原理1.集群构建手动构建集群脚本构建集群2.节点主从自动切换3.添加节点和分片六
已认证运维工程师·2024-01-06 18:48

Redis Cluster集群模式的原理与搭建

Redis3.0之后，redis节点之间通过去中心化的方式，提供了完整的sharding分片、replication主从复制（复制机制仍使用原有机制，并且具备感知主备的能力）、failover故障容错的解决方案
杰克说互联网·2024-01-06 18:47

Docker-Compose部署Redis(v7.2)分片集群(含主从)

、前提准备1.文件夹结构二、配置文件1.redis.conf2.docker-compose文件三、构建集群1.自动分配主从关系2.1构建3master集群2.2手动配置从节点四、测试1.集群结构2.分片测试环境
木子dn·2024-01-06 18:17

RocketMQ基本概念

Broker在实际部署过程中对应一台服务器，每个Broker可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的Broker。MessageQueue用于存储消息
浅夏哥·2024-01-06 16:52

SuperMap分布式数据库实操

分布式数据库实操分布式数据库一、MongoDB1.特点2.使用原理3.数据结构4.单节点部署1.下载2.解压安装3.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二
会灭火的程序员·2024-01-06 15:42

Greenplum集群部署小结

Greenplum属于一种看起来“较重”的数据库MPP架构，不像基于MySQL基于中间件的架构那么轻量，但是要说一些具体的场景，比如Greenplum支持存储过程，支持列式存储，加上分区表和内置的数据分片等多种模式
jeanron·2024-01-06 15:57

Databend使用入门

Databend官网：专注于打造全球最强云数仓，弹性、简单、低成本，支持mysql、clickhouse有线连接协议（白话就是可以直接用它们的客户端连接Databend服务）。
_hys·2024-01-06 14:48

如何对 Databend 进行基准测试

Databend建议使用hyperfine通过ClickHouse/MySQL客户端执行基准测试，本文将使用MySQL客户端来介绍它。前期准备：进行本地基准测试之前，必
Databend·2024-01-06 14:17

ClickHouse为什么这么快？ClickHouse原理解析与实践

本篇文章主要在架构&使用上介绍ClickHouse的基本概念&基本查询，抛砖引玉，大家实践的路上多多交流。
袋鼠先森·2024-01-06 13:15

ClickHouse为什么快

大数据量处理的方案分布式计算列式存储ClickHouse的性能数据的查询性能：不支持高并发，官方建议qps不超过100。单表查询更有优势，不推荐多表联合查询。
流年★似水·2024-01-06 13:45

Clickhouse为什么有这么高的性能

一、架构设计1、MPP架构（海量数据并行处理架构），sharenothing模式，每个节点访问自己的cpu、内存、磁盘，且与节点之间的数据访问并行。2、向量执行引擎，从寄存器硬件层面优化，采用数据并行，速度提升指数级别。采用cpu缓存作为临时交换数据，速度比内存交换数据还要快。3、列式存储和数据压缩4、支持sql查询，采用关系型模型描述数据5、支持表引擎，将数据存储抽象成独立的接口，根据实际应用场
sq0723·2024-01-06 13:43

Clickhouse为什么这么快？

一说到Clickhouse，大家都知道它非常快，那么CH为什么这么快，是因为使用了向量化、列式数据库还是其它。下面我们一起来探索它的奥秘。
sileiH·2024-01-06 13:43

seatunnel部署遇到的一些问题及总结

环境：jdk1.8seatunnel2.3.3需求：想实现MYSQL到CLICKHOUSE同步问题：问题一：执行seatunnel本地案例提示如下且在apache-seatunnel-2.3.3/connectors
喜羊羊love红太狼·2024-01-06 13:12

linux环境seatunnel安装运行

场景：目前有个需求想实现mysql到clickhouse的同步，当前负责到这块中间踩了很多坑特此记录一下。
喜羊羊love红太狼·2024-01-06 13:12

ClickHouse为什么这么快

ClickHouse作为一款开源列式数据库管理系统（DBMS）主要用于数据分析（OLAP）领域。近年来国内开源社区非常火热，各个大厂纷纷跟进大规模使用。
数新网络·2024-01-06 13:40

ClickHouse 为什么这么快？

本文从原理层的角度解释了ClickHouse为什么在单表查询领域这么快：WhyClickHousesoFast!
maray·2024-01-06 13:40

clickhouse 速度快的原因-小结

1.clickhouse是一个列式存储的数据库，每一列数据都经过了lz4的压缩，由于列数据之间重复性极高，所以拥有非常可观的压缩比，这样查询一列数据时，扫描速度极快，clickhouse的列式存储具体如下
lixia0417mul2·2024-01-06 13:10

clickhouse是什么

1.简介ClickHouse是俄罗斯的Yandex于2016年开源的用于在线分析处理查询（OLAP:OnlineAnalyticalProcessing）MPP架构的列式存储数据库（DBMS：DatabaseManagementSystem
繁星-赵老师·2024-01-06 13:09

ClickHouse为什么那么快

设计如此=-=概述ClickHouse设计的初衷是tofilterandaggregatedataasfastaspossible。
GaleZhang·2024-01-06 13:09

基于seatunnel实现mysql同步clickhouse验证

场景：需求想要实现mysql同步到clickhouse，seatunnel部署见前面文档linux环境seatunnel安装运行-CSDN博客。
喜羊羊love红太狼·2024-01-06 13:08

MyCat介绍与配置

转载自：https://blog.csdn.net/linuxlsq/article/details/52606225Mycat前生今世如果我有一个32核心的服务器，我就可以实现1个亿的数据分片，我有32
阿T_smile·2024-01-06 11:20

clickhouse集群模式下视图用dg查看时若隐若现

clickhouse集群模式的视图在集群新增节点时用dg查看视图表若隐若现现象：clickhouse集群模式的视图在集群新增节点时用dg查看视图表若隐若现，好像是在新增的节点上没有该视图。
pekingK·2024-01-06 08:12

elasticsearch查询性能优化方案

考虑使用更少的分片来减少索引和查询的开销。查询DSL优化：使用过滤器（filter）而不是查询（query），尽量避免评分计算。将频繁执行的查询结果缓存起来，使用Elasticse
不加班程序员·2024-01-06 08:38

ClickHouse基础介绍

目录前言1、什么是clickhouse2、OLAP场景的关键特征3、列式存储更适合于OLAP场景的原因4、clickhouse的独特功能5、clickhouse的缺点6、性能6.1、单个大查询的吞吐量6.2
小徐很努力·2024-01-05 23:38

clickhouse 五（分布式表原理解析）

clickhouse分布式表原理解析clickhouse中的表可以分为分布式表和本地表1.分布式（Distributed）表引擎介绍2.创建分布式表3.使用分布式表在clickhouse分布式集群中，我们通常需要先创建本地表再创建分布式表
高并发·2024-01-05 20:24

ClickHouse数据库详解和应用实践

目录可以自动生成，如何生成可参考右边的帮助文档文章目录概述1.适用场景2.不适用场景一、核心特性1.完备的DBMS功能2.列式存储与数据压缩二、安装部署1.在线安装2.离线安装三、jdbc访问总结概述ClickHouse
shandongwill·2024-01-05 20:53

ElasticSearch 索引&分片&文档概念

索引信息：image.png{"version":31,"mapping_version":4,"settings_version":3,"aliases_version":3,"routing_num_shards":30,"state":"open","settings":{"index":{"mapping":{"total_fields":{"limit":"2000"}},"refres
与狼共舞666·2024-01-05 18:30

Java八股文面试全套真题【含答案】- Elasticsearch篇

答案：Elasticsearch的主要特点包括：分布式和高可用性：支持数据在多个节点上的水平分片和复制。实时搜索和分析：能够实时索引、搜索和分析
动力节点IT教育·2024-01-05 17:54

分布式缓存-Redis分片集群

一、分片集群结构主从和哨兵可以解决高可用、高并发读的问题，但是依然有两个问题没有解决：海量数据存储问题高并发写的问题使用分片集群可以解决上述问题，分片集群特征：集群中有多个master，每个master
喵先森爱吃鱼·2024-01-05 15:06
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他