ClickHouse分片

在k8s上部署ClickHouse

概述clickhouse的容器化部署，已经有非常成熟的生态了。在一些互联网大厂也已经得到了大规模的应用。
禹鼎侯·2024-01-21 08:08

关于常见分布式组件高可用设计原理的理解和思考

文章目录1.数据存储场景和存储策略1.1镜像模式-小规模数据1.2分片模式-大规模数据2.数据一致性和高可用问题2.1镜像模式如何保证数据一致性2.2镜像模式如何保证数据高可用2.2.1HA模式2.2.2
李姓门徒·2024-01-21 07:30

olap/clickhouse keeper 一致性协调服务

clickhouse最初是用zookeeper的，在21.8版本中开始引入了ClickHouse-Keeper
SakamataZ·2024-01-21 07:14

logstack 日志技术栈-04-opensource 开源工具 SigNoz+Graylog

它为使用OpenTelemetry检测应用程序提供本机支持，以防止供应商锁定，将收集到的数据存储在ClickHouse中，然后在用户友好的仪表板中聚合和可视化数据。
老马啸西风·2024-01-21 07:03

IP分片与组装

IP分片的原因简单的来说，数据链路层规定了物理网络的最大传输单元MTU，这个值体现了设备的网络收发能力，该值因设备而异，默认值为1500个字节。
我要出家当道士·2024-01-21 06:01

Redis集群Cluster和分片

1.Cluster集群介绍背景Sentinel解决了主从架构故障自动迁移的问题但是master主节点的写能力和存储能力依旧受限使用Redis的集群Cluster就是为了解决单机Redis容量有限的问题，将数据按一定的规则分配到多台机器什么是集群Cluster是一组相互独立的、通过告诉网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理容易和分布式弄混，分布式系统简单的理解为一个庞大的系统
水宝的滚动歌词·2024-01-21 05:40

kafka核心原理及数据积压问题

1kafka的分片和副本机制何为分片?分片有什么用呢?
江枫渔火R·2024-01-20 22:24

Elasticsearch Index Shard Allocation 索引分片分配策略

Elasticsearch索引分片的分配策略说明在上一篇《索引生命周期管理ILM看完不懂你锤我》（https://mp.weixin.qq.com/s/ajhFp-xBU1dJm8a1dDdRQQ）中，
醉鱼！·2024-01-20 19:24

mysql、clickhouse查询数据库所有的表以及字段信息

mysql查询数据库所有的表以及字段信息SELECTtable_schema数据库名,table_name表名,COLUMN_NAME列名,COLUMN_TYPE数据类型,DATA_TYPE字段类型,CHARACTER_MAXIMUM_LENGTH长度,IS_NULLABLE是否为空,COLUMN_DEFAULT默认值,COLUMN_COMMENT备注FROMINFORMATION_SCHEMA.
JHC_binge·2024-01-20 15:51

Doris配置外表以及多个Hive外表的配置

1.场景分析以Clickhouse、Doris、Starrocks等为代表的mpp分析数据库正在快速的兴起，以其高效查询、跨库整合能力收到广大技术人员的喜爱。
tuoluzhe8521·2024-01-20 12:37

一篇文章掌握海量数据解决方案ShardingSphere分库分表详解

ShardingSphere概述1.1.ShardingSphere-JDBC1.2.ShardingSphere-Proxy1.3.ShardingSphere-Sidecar1.4.混合架构2、数据分片
cxzm_1024·2024-01-20 12:29

字节跳动 ByteHouse 云原生之路 – 计算存储分离与性能优化

01起源ByteHouse的故事从字节跳动对于先进数据处理和分析的需求开始，这一需求随着公司业务规模的迅速扩张而日益增长，起源是对开源数据库管理系统ClickHouse的改造和增强。
亚马逊云开发者·2024-01-20 09:15

【Elasticsearch】awareness 配置导致分片无法迁移问题排查

进行机房迁移的操作是扩容了三个节点并将之前的三个节点exclude，但发现有部分分片无法迁移。问题排查抽查一个无法迁移分片的索引的分片分布如下问题在于gh-data-r
NEUpanning·2024-01-20 08:57

【Elasticsearch】存在数据的分片分配流程梳理

分配到哪个节点，allocation使用allocator和deciders进行节点选择，allocator负责整个流程会找出哪些节点可以分配，deciders通过多个decider判断该节点能否分配，很多分片分配的配置都是通过
NEUpanning·2024-01-20 08:27

【Elasticsearch】索引恢复（recovery）流程梳理之副本分片数据恢复

replicashard重启具体流程replicashardnode（genericthreadpool）也是因为应用新的集群状态触发recovery，进入index阶段进入translog阶段。先尝试重放本地的translog到globalcheckpoint向primaryshard发起startrecovery的请求，请求包含replica的localCheckpoint+1。（如果第二步重
NEUpanning·2024-01-20 08:23

Kafka的文件存储机制

在kafka中采用分区来存储数据，每个分区对应一个log文件，生产者每次生产的数据都追加到该文件之后，为了防止文件过大，在分区中又采用了分片索引机制，以提高数据定位的效率，每个个分片称为一个segment
有人打我·2024-01-20 08:25

Redis深入理解、面试常问、疑难解答

6、Redis高可用的几种实现方式6.1主从复制6.2哨兵模式6.3分片集群7、Redis持久化方式7.1、RDB7.2、AOF8、Redis锁原理Redis常问面试题1、Redis支持哪几种数据类型？
北漂IT民工_程序员_ZG·2024-01-20 06:27

Milvus 上新：支持上万个 Collection、新增 Accesslog 功能……

为此，Milvus新增了许多易用性功能，比如：可追踪外部接口调用的accesslog；对parquet数据格式的导入做了支持；引入了更清晰的错误消息；更快的加载速度以及更好的查询分片平衡能力。在
Zilliz Planet·2024-01-20 04:20

亚信安慧AntDB数据库：揭开性能与效率提升的奥秘

它采用了先进的数据库分片技术，使得数据在多个节点间进行分布式存储和处理，从而大幅提升数据库的性能和吞吐量。AntDB数据库的分片技术可以根据数据的特点和访问模式进行灵活
亚信安慧AntDB数据库·2024-01-20 01:31

Clickhouse安装部署及简单使用

ClickHouse是一个开源的列式数据库管理系统，它专门用于处理大规模数据集。它的设计目标是提供高性能、高可用性和可扩展性，同时保持简单易用的特点。
蓝胖子的宝贝·2024-01-19 21:11

python 连接clickhouse数据库及简单操作

前言最近研究了下python爬虫，想爬取一些数据存储到clickhouse里，进行分析。由于是新手，搜了好多教程，也踩了好几天的坑，记录一下，防止以后再走弯路。
花菜回锅肉·2024-01-19 21:08

clickhouse安装及简单使用

前言clickhouse设计比较精简，具有强大的数据写入性能、极其高效的查询性能、高效压缩存储，单机部署性能丝毫不逊色于传统的大数据集群。由于使用体验简单直接，使得运维工作同样变的简单。
花菜回锅肉·2024-01-19 21:07

【个人笔记】由浅入深分析 ClickHouse

项目中不少地方使用到ClickHouse，就对它做了一个相对深入一点的了解和研究。并对各种知识点及整理过程中的一些理解心得进行了汇总并分享出来，希望对其他同学能有帮助。
garagong·2024-01-19 21:32

某汽车外包-大数据开发-面试

6.clickhouse怎么建表的，什么是分表7.搭建采集过程遇到的问题，关于组件信息8.分桶表和分区表的区别，分桶表的设计未来解决什么问题。9.datax用来干什么的，datax是用什么语言编写的。
劝学-大数据·2024-01-19 16:28

数据分片概述、环境准备、部署MyCAT服务、全局表、分片表、ER表

1案例1：部署mycat服务1.1问题把主机mysql60配置为MySQL59的从服务器把主机mysql62配置为MySQL61的从服务器把主机mycat63配置为mycat服务器客户端192.168.88.50访问mycat服务1.2方案准备6台虚拟机，具体配置如表-11.3步骤实现此案例需要按照如下步骤进行。步骤一：把MySQL60配置为MySQL59的从服务器1）配置主服务器MySQL59/
Mick方·2024-01-19 15:40

ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析

ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。
张飞的猪大数据·2024-01-19 15:00

【Redis】Redis如何做内存优化？

个人博客：个人主页个人专栏：Redis⛳️功不唐捐，玉汝于成目录前言正文使用数据结构：压缩对象：过期策略：分片：使用持久化方式：内存碎片整理：监控和分析：升级到新版本：Lua脚本优化：避免大量小对象：结语我的其他博客前言在
还在路上的秃头·2024-01-19 13:41

XXL_JOB轻量级分布式任务调度平台

路由策略：第一个，最后一个，轮询，随机，分片广播，故障转移等。邮件报警：任务失败时支持邮件报警，可配置多邮件地址群发报警。运行报表：实时查看任务数量、调度次数、执行器数量。帮助文档xxl_job文档地
tim24518·2024-01-19 12:46

Jest 28发布

Jest28终于来了，它带来了一些长期以来一直要求的特性，比如支持跨多台机器的测试运行分片、包导出和自定义假计时器行为的能力。
魏铁锤爱摸鱼·2024-01-19 06:38

ClickHouse - 05

7、DDL在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL中的库、表、字段严格区分大小写。
ArthurHC·2024-01-19 02:06

MongoDB认证考试小题库

FreeMongoDBC100DBAExamActualQuestions关于MongoDBC100DBA考试真题知识点零散整理分片架构应用程序-->mongos-->多个mongod对于应用来说，连接分片集群跟连接一台单机
Moshow郑锴·2024-01-19 01:12

聚是一团火散作满天星，前端Vue.js+elementUI结合后端FastAPI实现大文件分片上传

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_175分片上传并不是什么新概念，尤其是大文件传输的处理中经常会被使用，在之前的一篇文章里：python花式读取大文件(10g/50g/
刘悦的技术博客·2024-01-18 21:35

ClickHouse学习笔记（六）：ClickHouse物化视图使用

文章目录1、ClickHouse物化视图2、物化视图vs普通视图3、物化视图的优缺点4、物化视图的用法4.1、基本语法4.2、准备表结构4.3、准备数据4.4、查询结果1、ClickHouse物化视图ClickHouse
leo825...·2024-01-18 16:11

Clickhouse: One table to rule them all!

前面几篇笔记我们讨论了存储海量行情数据的个人技术方案。它们之所以被称之为个人方案，并不是因为性能弱，而是指在这些方案中，数据都存储在本地，也只适合单机查询。数据源很贵–在这个冬天，我们已经听说，某些上了规模的机构，也在让员工共享万得账号了。所以，共享网络存储，从而只需要一个数据账号，就成为合理的需求。更不必说，集中管理才可能让IT来进行数据维护，而分析师只需要专注于策略就好。那些以讹传讹的解决方案
量化风云·2024-01-18 16:39

深度解析Elasticsearch索引数据量过大的优化与部署策略

目录引言1.分片和副本策略1.1分片策略1.1.1数据量1.1.2查询和写入负载1.1.3硬件资源1.1.4高可用性1.2.副本策略1.2.1冗余和可用性1.2.2查询性能1.2.3存储需求2.硬件和资源配置优化
喔的 喔的嘛呀·2024-01-18 15:40

mongoDB高级篇-mongo分片初体验

如果说复制集是mongo为了备份数据，将一份数据存储在多台实例上的一种集群架构的话，那么当我们的数据存储过多，最好能将数据分开存储，这个时候就可以使用mongo的另一个多实例部署架构--数据分片分片的概念就是将数据拆分
逐梦々少年·2024-01-18 15:31

不是 ES 用不起，而是 ClickHouse 更具“性价比”？

云原生架构是一种基于云计算、容器化和微服务的架构模式。业内预测，到2025年，预计超过95%的工作负载将迁移到云端，云原生架构成为业务的必需品。背景介绍经过十三年的发展，某快递公司目前C端累计注册用户超2.5亿、P端（专业用户）累计注册快递员及网点经营者超130万、B端累计服务电商企业/泛电商企业/品牌企业/政府与公共组织等客户超250万家；每天快递查询调用量超4亿次、寄件下单量超30万单。公司的
LinkSLA·2024-01-18 13:50

读《余生，请多指教》有感

然后，因为杨紫出演了这部分片，于是便找来了书提前看。读完书，一方面被书中的爱情故事所打动，一方面却也颇为现实的认为，故事就是故事,现实与故事是有本质差异的。
杰然不同的生活·2024-01-18 13:53

技术分享 | OceanBase 集群扩容缩容

作者：杨文DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。
爱可生开源社区·2024-01-18 13:03

技术选型｜开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
浪尖聊大数据-浪尖·2024-01-18 08:14

数据仓库系列：StarRocks的简单试用及与clickhouse的对比

1.搭建测试环境dockerpullstarrocks/allin1-ubuntu:2.5.4dockerrun-p9030:9030-p8030:8030-p8040:8040-itdstarrocks/allin1-ubuntu:2.5.4dockerps2.简单测试2.1.使用mysqlclient连接mysql-P9030-h127.0.0.1-uroot--prompt="StarRoc
enjoy编程·2024-01-18 08:13

ElasticSearch 5. 搭建ES集群

提高负载能力提高存储容量上限实现高可用提高并发处理能力…2.数据分片（Shard）es集群把数据拆分成多份，每一份存储到不同节点（node），从而实现减少每个节点的数据量，减少单个服务器的压力，构成分布式搜索
自挂东南只·2024-01-18 08:13

ClickHouse vs StarRocks 全场景MPP数据库选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
涛子丶白了你一眼·2024-01-18 08:12

ElasticSearch 集群高可用存储架构

master节点：主要职责是和集群操作相关的内容，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。
LWD-824·2024-01-18 08:12

大数据分析之ClickHouse技术选型

查阅了一些资料，ClickHouse适合大数据量，高性能的查询。查询和SQL语句很相似，故而做技术调研。以下为一
凡尘技术·2024-01-18 08:12

ClickHouse vs StarRocks 选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
dan20211·2024-01-18 08:40

Clickhouse VS StarRocks

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
chixushuchu·2024-01-18 08:10

【技术选型】clickhouse vs starRocks

比对结论如果只能单机部署的话，clickhouse基本无敌。
偏振万花筒·2024-01-18 08:08

MySQL单表过大、主从模式、同步模式优化原理

前言InnoDB索引数据结构B+树ShardingSphere分库分表Sharding-JDBCSharding-JDBC的相关概念说明逻辑表广播表绑定表Sharding-JDBC中的分片策略自动分片算法取模分片算法哈希取模分片算法分片容量范围标准分片算法行表达式分片算法时间范围分片算法
“逛丢一只鞋”·2024-01-18 06:58

【NodeJS】nodejs提供websocket服务

在websocket通过分片的方式将字符串进行切割传递。
疯癫的老码农·2024-01-18 06:57
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他