E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
clickhouse集群配置
<redis集群>三.redis
集群配置
和故障恢复
1.redis集群概述Redis3.0版本以上开始支持cluster,采用的是hashslot(hash槽),可以将多个Redis实例整合在一起,形成一个群集,也就是将数据分散到群集的多台机器上。2.redis集群原理RedisCluster是一个无中心的结构(无中心管理节点),每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息,知道其他节点所负责的槽,并且会与其他节点定时发送心跳
我真的学不会救救我吧
·
2024-01-05 11:25
redis
运维
服务器
系统架构
【Spark精讲】Spark on Hive性能优化
目录第一章1.1
集群配置
概述1.2集群规划概述第二章Yarn配置2.1Yarn配置说明yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.scheduler.maximum-allocation-mbyarn.scheduler.minimum-allocation-mb
话数Science
·
2024-01-05 10:10
Spark精讲
Spark
大数据
spark
大数据
面试
MybatisPlus 配置多数据源
所以决定启用
clickhouse
,因为
clickhouse
支持大量数据的批量入库,并且查询效率也极高(战斗民族开发的,可想而知,简单粗暴,极致追求效率)。引入clickhou
像少年啦飞驰点、
·
2024-01-05 09:00
clickhouse
数据库
mybatis
postgresql
02、Kafka ------ 配置 Kafka 集群
目录配置Kafka
集群配置
步骤启动各Kafka节点配置Kafka集群启动命令:1、启动zookeeper服务器端小黑窗输入命令:zkServer2、启动zookeeper的命令行客户端工具(这个只是用来看连接的节点信息
_L_J_H_
·
2024-01-05 09:31
Kafka
系列
kafka
分布式
Apache Doris (五十八): Doris - Join优化原理
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2024-01-05 04:49
大数据OLAP体系技术栈
doris
优化
Apache Doris (五十九): Doris - BITMAP精准去重
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2024-01-05 04:49
大数据OLAP体系技术栈
Doris
Apache Doris (六十): Doris - 物化视图
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2024-01-05 04:48
大数据OLAP体系技术栈
Apache
Doris
apache
doris
Clickhouse
为什么快
ClickHouse
是一个用于联机分析处理(OLAP)的开源列式数据库管理系统(DBMS)。
nai598455803
·
2024-01-05 04:17
数据库
clickhouse
kudu NoSQL数据库详解
一、Hbase、Kudu和
ClickHouse
对比Hadoop生态圈中HDFS一直用来保存底层数据。
wespten
·
2024-01-04 23:09
数据库存储
块存储
文件存储
对象存储
分布式网络存储
ui
微信基于StarRocks的湖仓一体实践
作者:StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件,其数据平台建设经历了从Hadoop到
ClickHouse
亚秒级实时数仓的阶段,但仍旧面临着数据体验割裂
StarRocks_labs
·
2024-01-04 20:38
后端
springboot连接mongodb集群(mongoTemplate)
文章目录前言一、单机版mongo的yml二、springboot连接mongo集群1.自定义yml参数2.定义一个配置文件,读取该配置,并重新注入MongoTemplate3.
集群配置
完毕,正常使用MongoTemplate
寂寞旅行
·
2024-01-04 19:31
springboot
MongoDB
其他数据库
spring
boot
mongodb
后端
2024新flag
2023flag倒了,2024重新立起来java持续学习,尤其是Springcloud,可以独立写一个Springboot程序数据库,
clickhouse
,并创建新的日志系统VUE3+TS学习,微前端框架三维
南山老沙
·
2024-01-04 19:58
深度学习
ClickHouse
查询sql长度超超过最大限制
ClickHouse
查询sql长度超超过最大限制Maxquerysizeexceeded
ClickHouse
exception,message:Code:62.DB::Exception:Syntaxerror
白龙菜牛
·
2024-01-04 17:25
数据库
clickhouse
sql
数据库
ClickHouse
高可用集群搭建(离线安装)
一、简介
ClickHouse
官网二、生产集群搭建准备Zookeeper集群Linux服务器四台(以四台为列)创建用户组和用户groupadd
clickhouse
---创建用户组useradd-m-d/home
Sql强
·
2024-01-04 15:49
ClickHouse
(10)
ClickHouse
合并树MergeTree家族表引擎之ReplacingMergeTree详细解析
MergeTree拥有主键,但是它的主键却没有唯一键的约束。这意味着即便多行数据的主键相同,它们还是能够被正常写入。在某些使用场合,用户并不希望数据表中含有重复的数据。ReplacingMergeTree就是在这种背景下为了数据去重而设计的,它能够在合并分区时删除重复的数据。但是ReplacingMergeTree并不一定保证不会出现重复的数据。ReplacingMergeTree是另外一个常用的
张飞的猪大数据
·
2024-01-04 10:20
SpringBoot: 通过MyBatis访问
ClickHouse
一、
ClickHouse
中建表,添加数据二、SpringBoot项目添加mybatis、
clickhouse
、druid相关依赖com.alibabadruid1.2.6org.mybatis.spring.bootmybatis-spring-boot-starter1.3.2mysqlmysql-connector-java5.1.30ru.yandex.
clickhouse
clickhous
amadeus_liu2
·
2024-01-04 08:58
ClickHouse
SpringBoot
spring
boot
mybatis
clickhouse
Clickhouse
SQL字符串相关
1、列表列转行列转行就是将某一没有重复数据的列进行转换之后变成可以与其他数据对应起来的有重复数据的列列转行,将一个字段中的多值按某分隔符进行炸开,分为多行arrayJoin(splitByString(',',cast(data_detailasString)))AScol行转列某一列有多个重复的数据,对着一列进行分组之后,其他的列数据能够和这一行转换之后的数据对应上groupArray(repo
零壹贰伍
·
2024-01-04 08:56
clickhouse
sql
数据库
SpringCloud Alibaba学习(四):Linux版Nacos+MySQL生产环境配置
nacos-server-1.1.4.tar.gz2、解压后安装二、在Linux上为Nacos配置MySQL数据库1、执行SQL脚本2、修改application.properties配置三、Linux服务器上的Nacos
集群配置
玉面大蛟龙
·
2024-01-04 07:16
java
spring
cloud
分布式
微服务
云原生
spring
cloud
alibaba
SeaTunnel同步SQLserver数据至
ClickHouse
ClickHouse
是一种OLAP类型的列式数据库管理系统,
ClickHouse
完美的实现了OLAP和列式数据库的优势,因此在大数据量的分析处理应用中
ClickHouse
表现很优秀。
万山数据@yqj1987
·
2024-01-04 06:28
clickhouse
sqlserver
Canal+RabbitMQ实现MySQL数据同步至
ClickHouse
ClickHouse
作为一个被广泛使用OLAP分析引擎,在执行分析查询时的速度优势很好的弥补了MySQL的不足,但是如何将MySQL数据同步到
ClickHouse
就成了用户面临的第一个问题。
万山数据@yqj1987
·
2024-01-04 06:21
clickhouse
rabbitmq
clickhouse
SQL报错处理
子查询报错●目的:在子查询中使用notin过滤掉不想要的数据,使用代码select*fromtable1wherereport_time>=toUnixTimestamp(toDateTime('2023-12-2510:00:00'))*1000ANDreport_time
零壹贰伍
·
2024-01-03 09:59
clickhouse
sql
数据库
【大数据实战】聊聊
clickhouse
的性能问题-高性能分析
聊聊ck的性能问题在OLAP的查询场景中,同样的数据量,
ClickHouse
表现出了比同类可比较产品更优的性能。
小吴同学GOGOGO
·
2024-01-03 09:26
大数据
clickhouse
数据库
clickhouse
-client INSERT CSV/TSV时跳过错误行
clickhouse
-clientINSERTCSV/TSV时跳过错误行在使用
clickhouse
-client向ck中导入csv文件时,当csv中有个别行数据格式错误时,整个文件就插入失败了,经常会导致丢数据
yunfeather
·
2024-01-03 09:26
clickhouse
java
服务器
clickhouse
SQL日期相关
1.毫秒级时间戳转日期/小时--13位时间戳转具体时间toDateTime(report_time/1000)as_c00--获取时间戳对应的时间点整点(结果:%Y-%m-%d%H:00:00.0)eg:2022-09-2823:00:00.0toStartOfHour(toDateTime(report_time/1000))AS_10--获取时间点整点(结果无日期:%H)eg:23toHour
零壹贰伍
·
2024-01-03 09:55
数据库
sql
clickhouse
ClickHouse
(20)
ClickHouse
集成PostgreSQL表引擎详细解析
文章目录PostgreSQL创建一张表实施细节用法示例资料分享参考文章PostgreSQLPostgreSQL引擎允许
ClickHouse
对存储在远程PostgreSQL服务器上的数据执行SELECT和
张飞的猪大数据
·
2024-01-03 09:55
clickhouse
postgresql
数据库
大数据
数据仓库
etl
ClickHouse
基础知识(七):
ClickHouse
的分片集群
副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过Distributed表引擎把数据拼接起来一同使用。Distributed表引擎本身不存储数据,有点类似于MyCat之于MySql,成为一种中间件,通过分布式逻辑表来写入、分发
依晴无旧
·
2024-01-03 07:26
大数据
clickhouse
ClickHouse
使用姿势系列之分布式JOIN
点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜轻戳有惊喜:八股文教给我,你们专心刷题和面试阅读本文前必读:原理部分「
Clickhouse
系列」分布式表&本地表详解「
ClickHouse
系列」
王知无(import_bigdata)
·
2024-01-03 03:21
分布式
java
大数据
数据库
数据分析
【Hadoop】
集群配置
之主要配置文件(hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml...)
Hadoop配置文件模板core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop配置文件模板参考官方配置文档:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetu
不怕娜
·
2024-01-02 10:27
hadoop
xml
hdfs
Apache Flink连载(二十三):Flink HA - Flink基于Yarn HA
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2024-01-02 04:42
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Apache Doris (五十七): Doris - Runtime Filter
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2024-01-02 04:42
大数据OLAP体系技术栈
Apache
Doris
apache
php
开发语言
Apache Flink连载(二十二):Flink HA - Flink基于Standalone HA
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2024-01-02 04:11
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
clickhouse
入门之基础数据类型及数据表
数据类型基础类型基础类型只有三种数值、字符串、时间数值1.1数值类型int(用int8int16int32int64代表tinyintsmallintintbigint)分别占用1248字节,无符号整数加前缀U表示。1.2浮点数float(float32float64分别占用48字节有效精度分别为716位)1.3定点数decimal(decimal32(S)decimal64(S)decimal1
kooomo
·
2024-01-01 22:20
xshell无法连接centos 6.6的问题
最近在做MySQL
集群配置
的预研工作,需要在VirtualBox上安装CentOS6.6.参照网上的教程安装好centos后,出现了一个问题:虚拟机外部的文本内容无法复制粘贴到CentOS的终端里去。
diqian2453
·
2024-01-01 11:40
运维
数据库
Docker:Docker
集群配置
与应用(Docker Swarm)
Docker
集群配置
与应用前言学习目标1.建立DockerSwarm集群1.1为什么要使用容器集群1.2什么是Swarm集群1.3DockerSwarm特性1.4Swarm节点1.5Swarm集群管理命令
boy快快长大
·
2024-01-01 08:55
Docker
docker
eureka
容器
第01期:一文了解
ClickHouse
一、简介1.1
ClickHouse
是什么?
ClickHouse
是Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快100-1000倍。
爱可生开源社区
·
2024-01-01 04:46
大数据开发【3】 -- hadoop的云
集群配置
首先要配置好一台机器的伪分布式,这样方便后面的配置。关于伪分布式的:请看伪分布式搭建文章目录1.配置yarn2.各个主机配置3.集群的配置4.一些问题5.强烈推荐的参考文章1.配置yarn配置yarn-env.sh,对于3版本的就不用配置了,因为已经默认从hadoop-env.sh读取了。配置yarn-site.xml文件。yarn.nodemanager.aux-servicesmapreduc
天下一般
·
2023-12-31 10:25
后台
大数据
Apache Doris (五十六): Doris Join类型 - 四种Join对比
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2023-12-30 15:32
大数据OLAP体系技术栈
Apache
Doris
doris
Apache Flink连载(二十):Flink On Yarn运行 - Yarn Per-Job模式(弃用)
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2023-12-30 15:02
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Apache Flink连载(二十一):Flink On Yarn运行原理-Yarn Application模式
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2023-12-30 15:30
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
clickhouse
连接工具dbeaver
地址地址:Download|DBeaverCommunity安装表引擎表引擎之TinyLog以列文件的形式保存在磁盘上,不支持索引,没有并发控制。一般保存少量数据的小表,生产环境上作用有限,多用于平时练习测试用。内存引擎,数据以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有非常非常高的性能表现(超过10G/s)。一般用到它的地方不多,除了
xixiyuguang
·
2023-12-30 09:10
clickhouse
ClickHouse
基础知识(五):
ClickHouse
的SQL 操作
基本上来说传统关系型数据库(以MySQL为例)的SQL语句,
ClickHouse
基本都支持,这里不会从头讲解SQL语法只介绍
ClickHouse
与标准SQL(MySQL)不一致的地方。
依晴无旧
·
2023-12-30 09:10
大数据
clickhouse
sql
数据库
你需要懂一点
ClickHouse
的基础知识
大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!应用场景:1.绝大多数请求都是用于读访问的2.数据需要以大批次(大于1000行)进行更新,而不是单行更新;或者根本没有更新操作3.数据只是添加到数据库,没有必要修改4.读取数据时,会从数据库中提取出大量的行,但只用到一小部分列5.表很“宽”,即表中包含大量的列6.查询频率相对较低(通常每台服务器每秒查询数百
王知无(import_bigdata)
·
2023-12-30 09:39
系统运维系列 之
Clickhouse
数据库学习集锦(接查询优化问题整理)
1简介
ClickHouse
是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS),来自于俄罗斯本土搜索引擎企业Yandex公司,是为世界第二大web分析平台(Yandex.Metrica)所开发
琅晓琳
·
2023-12-30 09:08
基础运维
pagefile.sys
Clickhouse数据库
数据库
学习集锦
ClickHouse
基础知识(六):
ClickHouse
的副本配置
副本的目的主要是保障数据的高可用性,即使一台
ClickHouse
节点宕机,那么也可以从其他服务器获得相同的数据。
依晴无旧
·
2023-12-30 09:07
大数据
clickhouse
「从ES到CK 02」
Clickhouse
的基础知识扫盲
导航在完成将公司日志数据从Elasticsearch(下称ES)转战到
Clickhouse
后,个人认为有必要将过程记录分享。
Pong_Kaho
·
2023-12-30 09:07
日志解决方案
elasticsearch
clickhouse
Flink DataStream 编程模型
本文是我的第一篇付费文章,这是个开篇纵览,后面会深入讲解Flink理论与开发,不限于Flink这一个组件,后面也会有Spark、
Clickhouse
等等,代码也会配套同步到Gitee上面(Gitee地址见文末
大数据技术派
·
2023-12-30 09:54
flink
大数据
基于Kubernetes的jenkins上线
1、基于helm部署jenkins要求:当前
集群配置
了storageClass,并已指定默认的storageClass,一般情况下,创建的storageClass即为默认类指定默认storageClass
一个小宏混
·
2023-12-30 08:19
servlet
java
开发语言
基于Rsyslog+Kafka+Flink+
Clickhouse
的高性能日志采集、分析、汇聚存储方法
在上一篇博文中介绍了简单的实用负载均衡与实时监控方案(tengine+rsyslog+goaccess),功能上是满足日常需要的。但是用户的需求是没有止境的,更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV,各功能模块PV、UV,区域PV、UV,各手机型号、应用版本的使用情况,平台使用的趋势分析,功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者
·
2023-12-30 05:02
理论与实践
微服务
负载均衡
运维
nginx+rsyslog+kafka+
clickhouse
+grafana 实现nginx 网关监控
需求我想做一个类似腾讯云网关日志最终以仪表方式呈现,比如说qps、p99、p95的请求响应时间等等流程图数据流转就像标题nginx---->rsyslog---->kafka—>
clickhouse
—>
帆影匆匆
·
2023-12-30 05:59
nginx
kafka
clickhouse
clickhouse
code: 209. DB::NetException: Timeout: connect timed out:
1、code:209.DB::NetException:Timeout:connecttimedout:ck插入数据失败,查看querylog日志提示网络超时,最后定位到问题是ck底层系统升级造成。解决方案:1、业务重试容错2、也可以调整重试次数,降低失败概率setglobalonclusterdefaultconnections_with_failover_max_tries=10(默认是3次)
qq_35640866
·
2023-12-29 22:43
clickhouse
数据库
clickhouse
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他