E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
clickhouse集群部署
聊点技术|数据爆炸性增长,Bonree ONE存储如何做到稳如泰山
目前,BonreeONE基于
Clickhouse
进行存储,容纳了包括APM、RUM、LOG、会话、用户行为分析等多个业务模块的场景数据。
BJ_Bonree
·
2023-12-02 11:14
java
网络
服务器
集群部署
下,动态生成雪花算法WorkId和DataCenterId
目录前言代码核心类配置类使用前言如果服务是
集群部署
而且WordId和DataCenterId的配置都一致,那么在批量插入的情况下会出现生成的ID有重复的现象,但是目前我的业务出现的次数不多,但是一旦出现就需要我去补数据
技术武器库
·
2023-12-02 09:21
吐血整理
算法
java
spring
spring
boot
Kubernetes
集群部署
—部署etcd集群(二)
文章目录1准备cfssl证书生成工具2生成Etcd证书2.1自签证书颁发机构(CA)2.2使用自签CA签发EtcdHTTPS证书3从Github下载etcd二进制文件4部署Etcd集群4.1创建工作目录并解压二进制包4.2创建etcd配置文件4.3systemd管理etcd4.4拷贝刚才生成的证书4.5将上面节点1所有生成的文件拷贝到节点2和节点34.6启动etcd服务并设置开机启动4.7查看集群
杰哥的技术杂货铺
·
2023-12-02 09:43
Kubernetes
kubernetes
Kubernetes
集群部署
—单Master架构部署(一)
文章目录一、系统环境初始化1.1k8s组件图1.1.1Master组件1.1.2Node组件1.2生产环境可部署Kubernetes集群的两种方式1.3安装要求1.4环境准备1.5操作系统初始化配置1.5.1设置主机名1.5.2设置hosts解析主机名1.5.3关闭SELinux和防火墙1.5.4关闭swap1.5.5设置系统参数1.5.6设置节点间的SSH免密码登录1.5.7安装docker环境
杰哥的技术杂货铺
·
2023-12-02 09:37
Kubernetes
kubernetes
RocketMQ:搭建集群
首先看一下集群架构图:1.集群特点NameServer是一个几乎无状态节点,可
集群部署
,节点之间无任何信息同步。
Anbang713
·
2023-12-02 09:11
Clickhouse
表引擎的总结
官方文档https://
clickhouse
.com/docs/en/engines/table-enginesMergerTree引擎家族,只要带MergerTree的就是MergerTreeReplicatedMergeTreeReplicatedAggregatingMergeTreeReplicatedReplacingMergeTreeReplicatedSummingMergeTree
lusklusklusk
·
2023-12-02 08:36
Clickhouse
clickhouse
Clickhouse
集群的搭建方法及搭建过程中报错的解决方法
官方文档https://
clickhouse
.com/docs/zh/getting-started/tutorial#cluster-deploymenthttps://
clickhouse
.com/
lusklusklusk
·
2023-12-02 08:06
Clickhouse
clickhouse
Clickhouse
遇到密码错误如何修改密码
输入错误密码报错root@DAILACHDBUD001:/var/log#
clickhouse
-client
ClickHouse
clientversion23.4.2.11(officialbuild)
lusklusklusk
·
2023-12-02 08:06
Clickhouse
clickhouse
服务器
linux
Clickhouse
UPDATE 和 DELETE操作
历史:在OLAP数据库中,可变数据(Mutabledata)通常是不被欢迎的,
Clickhouse
也是如此,早期版本不支持UPDATE和DELTE操作。
LuckyTHP
·
2023-12-02 08:03
clickhouse
数据库
oracle
6.1 Elasticsearch(一)Docker搭建ES集群
文章目录1.环境准备1.1关闭防火墙1.2准备虚拟机1.3导入镜像1.4虚拟机设置max_map_count2.
集群部署
结构2.1准备虚拟网络和挂载目录2.2启动Elasticsearch集群2.2.1node1
蟑螂恶霸不是恶霸
·
2023-12-02 07:18
零基础入门到就业--JAVA篇
elasticsearch
docker
大数据
clickhouse
查询语法--with
with
clickhouse
支持CTE(CommonTableExpression,公共表达式),以增强查询语句的表达selectpow(2,3);//pow是计算次方值函数┌─pow(2,3)─┐│8
小陈菜奈-
·
2023-12-02 07:37
Clickhouse
clickhouse
clickhouse
查询语法--array join
arrayjoinarrayjoin子句允许在数据表的内部,与数组或嵌套类型的字段进行join操作,从而将一行数组展开为多行,类似于hive中的exploded炸裂函数的功能createtabletb_array_join(idInt8,hobbyArray(String))engine=Log;insertintotb_array_joinvalues(1,['eat','drink','sle
小陈菜奈-
·
2023-12-02 07:37
Clickhouse
clickhouse
clickhouse
--
clickhouse
解析复杂JSON数组
举例-查数据select_id,doctorId,patientId,diagnosisListfrompatient_diseasefinalwherediagnosisListisnotnulllimit3;-解析数组SELECT_id,doctorId,patientId,visitParamExtractRaw(diagnosisList,'diagnosisName')FROMpatie
小陈菜奈-
·
2023-12-02 06:29
Clickhouse
clickhouse
json
linux
elk日志收集系统实战
ELKStack介绍.mp43、ELKStack架构.mp44、Elasticsearch-Elasticsearch基础概念与环境准备.mp45、Elasticsearch-Elasticsearch
集群部署
运维工程师日常
·
2023-12-02 06:23
ClickHouse
:真正的OLAP列式DBMS
ClickHouse
1、本文持续更新...1、本文持续更新…
ClickHouse
官方文档:https://
clickhouse
.com/docs/zh
对许
·
2023-12-01 22:00
#
数据湖仓
Java大数据
#
数据库
clickhouse
数据仓库
数据库
大数据
ELK分布式日志管理平台部署
目录一、ELK概述1、ELK概念:2、其他数据收集工具:3、ELK工作流程图:4、ELK的工作原理:5、日志系统的特征:二、实验部署:1、ELKElasticsearch
集群部署
2、安装Elasticsearch-head
koeda1
·
2023-12-01 21:14
ELK
elk
分布式
运维
架构
云计算
数据库
混合云案例:利用 Databend Cloud 高效加速私有 Databend 的策略与实施
目前,Databend在多个用户场景中得到广泛应用,包括:新媒体行业数据分析及大屏数据展示云上CDH替代以减少本地磁盘和资源占用性能明显提升的云上Greenplum替代方案降低用户管理复杂度的云上
Clickhouse
Databend
·
2023-12-01 20:58
数据库
混合云
redis之缓存雪崩、缓存穿透、缓存击穿
```javasetRedis(Key,value,time+Math.random()*10000);如果**Redis**是
集群部署
,将热点数据均匀分布在不同的**Redis**库中也能避免全部失效的问题
疯狂的石头_4492
·
2023-12-01 17:01
clickhouse
读写分离模式 -读分布式表写本地表
本文沿着上一篇文章
clickhouse
副本与分片继续讨论如何对副本与分片进行读写,简单回顾下:我们组建了四个几点的集群,其中分片1由10.100.0.1和10.100.0.2节点组成,互为副本,分片2由
lixia0417mul2
·
2023-12-01 16:33
clickhouse
分布式
大数据
hadoop完全分布式搭建
文章目录
集群部署
规划服务器准备Mobaxterm远程登录实验前准备安装软件工具关闭防火墙安装JDK和Hadoop创建软件包目录解压软件包配置环境变量集群搭建先创建HDFS工作目录和LOG目录配置集群配置环境配置
撕得失败的标签
·
2023-12-01 12:24
Hadoop
分布式
hadoop
大数据
k8s部署elk+filebeat+logstash+kafka集群(二)kafka-zookeeper模式集群
zookeeper
集群部署
zookeeper使用官方镜像,版本为3.5,上传到镜像仓库rbacapiVersion:v1kind:ServiceAccountmetadata:name:kafkanamespace
filtercomp
·
2023-12-01 11:51
elk
kafka
kubernetes
elk
zookeeper
elk+filebeat+kafka
集群部署
EFK实验架构图:实现高并发,无需指定logstash3台es+file,3台kafka20.0.0.10es+file20.0.0.20es+file20.0.0.30es+file20.0.0.11kafka20.0.0.12kafka20.0.0.13kafka在es1主机上解压filebeatcdfilebeat安装nginx服务vim/usr/local/nginx/html/index
俊俏美男子章鱼哥
·
2023-12-01 10:17
elk
kafka
分布式
ELFK
集群部署
(Filebeat+ELK) 本地收集nginx日志 远程收集多个日志
filebeat是一款轻量级的日志收集工具,可以在非JAVA环境下运行。因此,filebeat常被用在非JAVAf的服务器上用于替代Logstash,收集日志信息。实际上,Filebeat几乎可以起到与Logstash相同的作用,可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。为什么要用filebeat来收集日志?为什么不直接使用lohstash收集日志
Lachewuxian
·
2023-12-01 10:47
elk
服务器
linux
UE5像素流集群工具
uePixelTool虚幻引擎像素流集群工具uePixelTool是一款用来做像素流
集群部署
的软件工具,它具有如下特点:1.支持一对一访问像素流2.支持UE程序的动态启动3.支持UE像素流的集群化部署4
qqcocobao
·
2023-12-01 07:29
ue5
unreal
CentOS卸载LVM磁盘的方法
前几天使用
Clickhouse
的时候遇到一个问题,就是CH所在服务器上的磁盘使用了LVM逻辑卷,因为底层12块8T的硬盘本身就做了RAID5,根据一些资料显示,CH并不建议使用LVM的磁盘使用方式,而且有数据显示
普普通通程序猿
·
2023-12-01 04:26
运维知识
clickhouse
centos
linux
服务器
hive数据迁移到
clickhouse
+kafka数据写入
clickhouse
hive数据迁移到
clickhouse
文章目录hive数据迁移到
clickhouse
1.使用命令导入2.使用waterdropkafka数据写入
clickhouse
1.使用命令导入#1.hive数据导出成
重生之我在异世界打工
·
2023-11-30 22:03
flink
hive
clickhouse
mysql高可用
集群部署
方案(mha+atlas+keepalived)
一、mysql高可用前提在许多比较重要的系统中,基本上都是24h*365d不间断运行的。 对于应用程序来讲,可以做haproxy+app或nginx+app的集群。好,问题来了,当应用程序的性能调优后,那么瓶颈就卡在数据库上。这个时候,就要对数据库进行优化。 在进行去IOE后,基本上许多的数据库都采用的是开源的mysql数据库。 当并发较高或数据量比较大的时候,数据库的瓶颈就会成为制约应用的
w_124816
·
2023-11-30 22:23
mysql
数据库
CentOS7下安装
ClickHouse
详解
禁用透明大页编辑/etc/default/grub文件,在GRUB_CMDLINE_LINUX行最后加上transparent_hugepage=never,例如:GRUB_CMDLINE_LINUX="rd.lvm.lv=centos_wjwcentos7/rootrd.lvm.lv=centos_wjwcentos7/swaprhgbquiettransparent_hugepage=neve
爱游泳的老白
·
2023-11-30 21:01
数据库
clickhouse
linux
centos
ClickHouse
表详解
ClickHouse
的表分为两种分布式表一个逻辑上的表,可以理解为数据库中的视图,一般查询都查询分布式表.分布式表引擎会将我们的查询请求路由本地表进行查询,然后进行汇总最终返回给用户.本地表实际存储数据的表
000X000
·
2023-11-30 21:01
ClickHouse
数据库
分布式
ClickHouse表详解
Window10下安装
ClickHouse
详解
随着互联网技术的发展,海量数据已经成为公司决策分析的重要来源,
ClickHouse
有着大数据入门和低学习成本(支持SQL)的优势,但基本上都是在Linux环境下安装.如果想在Windows下安装一个来学习和测试该如何操作
爱游泳的老白
·
2023-11-30 21:31
数据库
clickhouse
windows
linux
详解
clickhouse
分区目录的合并过程
数据存储底层分布目录名类型说明202103_1_10_2目录分区目录一个或多个,由于分区+LSM生成的detached目录通过DETACH语句卸载后的表分区存放位置format_version.txt文本文件纯文本,记录存储的格式columns.txt:该文件是一个文本文件,存储了表结构信息,可以用文本编辑打开。count.txt:该文件也是一个文本文件,存储了该分区下的行数。可以用文本文件打开。
大大大大肉包
·
2023-11-30 21:57
clickhouse
clickhouse
大数据
1w字详解
ClickHouse
漏斗模型实践方案(收藏)
针对实际使用过程的问题,探索基于
ClickHouse
漏斗模型实践方案。一、背景需求漏斗分析是衡量转化效果、进行转化分析的重要工具,是一种常见的流程式的数据分析方法。
浪尖聊大数据-浪尖
·
2023-11-30 21:57
大数据
数据分析
java
python
数据库
Clickhouse
NoSQL数据库详解
一、
Clickhouse
简介
ClickHouse
是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告
wespten
·
2023-11-30 21:56
数据库存储
块存储
文件存储
对象存储
分布式网络存储
clickhouse
详解
ClickHouse
的ReplaceMergeTree
区别于MergeTree表引擎,ReplacingMergeTree删除重复数据时是通过相同的分区值(ORDERBY的值)数据去重发生在后台合并数据时,后台合并数据是随机的,所以有时会有一些没处理的数据,可以通过OPTIMIZI来手动合并,官方建议不要指望它,因为OPTIMIZE会读写大量的数据(可能是会从头再合并一的原因吧)所以,ReplacingMergeTre适用于后台去重数据来节省空间的场
HFUT-YY
·
2023-11-30 21:20
clickhouse
数据库
sql
java版商城之直播带货直播订单 Spring Cloud+SpringBoot+mybatis+uniapp b2b2c o2o 多商家入驻商城 直播带货商城 电子商务
SpringBoot、Mybatis、Redis3.前端框架VUE、Uniapp、Bootstrap/H5/CSS3、IOS、Android、小程序4.核心思想分布式、微服务、云架构、模块化、原子化、持续集成、
集群部署
m0_68459853
·
2023-11-30 19:29
小程序
java
小程序商城免费搭建
This scheduler instance (...) is still active but was recovered by another instance in the cluste
先说结论,如果只有这一个报错可以不予理会,这是由于在Quartz
集群部署
引起的,原因是在集群环境中,对于同一个集群实例,只允许一个可用服务器来执行定时任务。
bigbearxyz
·
2023-11-30 12:20
Java
java
后端
spring
boot
Apache Airflow (十四) :Airflow分布式集群搭建及测试
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2023-11-30 11:01
任务流调度工具
Airflow
Apache Flink(三):Flink核心特性及应用场景
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2023-11-30 11:01
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Apache Flink(二):数据架构演变
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,
Clickhouse
技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。
IT贫道
·
2023-11-30 11:19
大数据计算体系技术栈
Apache
Flink
apache
flink
架构
【分布式学习】之架构、系统、
集群部署
分布式架构分布式架构是指在网络环境下,将一个应用或系统拆分成多个模块,将它们部署在不同的计算机节点上,并通过网络协议进行通信和协作。每个节点都可以独立地进行处理,并且它们通过相互通信来完成任务,从而提高整个系统的可靠性、可扩展性和性能。分布式系统分布式系统是基于分布式架构的一个系统,它是由多个协同工作的节点组成的,每个节点都是独立的计算机系统,它们通过网络协议相互通信,协同工作,共同完成任务。分布
大龄烤红薯
·
2023-11-30 08:55
分布式学习
分布式
学习
架构
java
spring
springboot
springcloud
阿里云ECS-Centos7.9
集群部署
Redis服务遭木马攻击
阿里云ECS-Centos7.9
集群部署
Redis服务遭木马攻击#背景阿里云ECS-Centos7.9集群:hadoop202,hadoop203,hadoop204hadoop202启动redis-server
start@today
·
2023-11-30 07:45
Linux
阿里云ECS
Redis安全漏洞
阿里云
redis
运维
[Docker]十二.Docker consul集群搭建、微服务部署,Consul集群+Swarm
集群部署
微服务实战
一.Dockerconsul集群搭建Consul是Go语言写的开源的服务发现软件,Consul具有服务发现、健康检查、服务治理、微服务熔断处理等功能,在微服务中讲过如何搭建consul集群,接下来看看在Dokcer中如何去创建搭建consul集群1.linux上面部署consul集群参考[golang微服务]5.微服务服务发现介绍,安装以及consul的使用,Consul集群2.Docker上面部
zhoupenghui168
·
2023-11-30 07:12
docker
#
golang微服务
架构
docker
微服务
集群搭建
docker微服务部署
docker
Consul集群
Swarm集群部署微服务实战
Ceph Nautica
集群部署
(1)虚拟网络配置在虚拟机中配置VMnet1为仅主机模式,子网IP配置成192.168.200.0网段;配置VMnet8为NAT模式,子网IP配置成192.168.100.0网段。如图7-3所示。[if!vml][endif]图7-3虚拟机网络配置图(2)虚拟机设置分别创建3台相同的虚拟机,并将虚拟机设备配置成如图7.4所示。[if!vml][endif]图7-4虚拟机设备配置图(3)系统设置将C
白菜go
·
2023-11-30 07:56
Spark On YARN 集群安装部署
SparkOnYARN集群安装部署本文属于转载:http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/我们知道Spark官方提供了三种
集群部署
方案
春日负暄
·
2023-11-30 03:57
spark
docker
集群部署
doris
1.前言这篇文章主要讲述如何在docker环境下搭建doris集群,以及一些注意事项。开始前请参考下必备技能表技能槽熟练度docker熟悉dockerfile熟悉docker-compose熟悉linux熟悉ctrl+c,ctrl+v精通如果已经具备以上技能,并满足对应的熟练度要求,那么请继续,反之去熟悉一下技能2.简介引用官网一句话支持对海量大数据进行快速分析的MPP数据库官网地址:https:
yedajiang44
·
2023-11-30 02:18
docker
docker
docker-compose
doris
集群
ClickHouse
要了解的骚气join操作
对
ClickHouse
而言,非常有必要对分布式JOIN实现作深入研究。在介绍分布式JOIN之前,我们看看
ClickHouse
单机JOIN是如何实现的。
浪尖聊大数据-浪尖
·
2023-11-30 00:32
分布式
java
大数据
数据库
spark
Doris-
集群部署
(四)
创建目录并拷贝编译后的文件1)创建目录并拷贝编译后的文件mkdir/opt/module/apache-doris-0.15.0cp-r/opt/software/apache-doris-0.15.0-incubating-src/output/opt/module/apache-doris-0.15.02)修改可打开文件数(每个节点)(前面的'*'也需要复制)sudovim/etc/secur
玖玖1704
·
2023-11-29 21:12
Doris
etl
hadoop
Docker基础用法
对上线的服务器系统进行环境配置,但环境配置十分麻烦特别是
集群部署
时,集群
sinat_40572875
·
2023-11-29 19:36
docker
容器
运维
三十、elasticsearch集群
集群的架构三、集群的部署方式1、单主节点2、多主节点3、安全集群四、搭建ES集群1、elasticsearch中集群节点有不同的职责划分2、elasticsearch中的每个节点角色都有自己不同的职责,因此建议
集群部署
时
qing_ti_xx
·
2023-11-29 18:34
微服务学习
elasticsearch
大数据
搜索引擎
Clickhouse
在CentOS下离线安装并新建用户远程连接
1、环境准备本演示服务器系统为CentOS7,
Clickhouse
选用版本为19.17.10.1,在安装之前需要准备好环境及离线rpm安装包。
wang727997856
·
2023-11-29 14:22
centos
服务器
linux
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他