E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ELK集群部署
98_es生产
集群部署
之针对集群重启时的shard恢复耗时过长问题定制的重要参数
98_es生产
集群部署
之针对集群重启时的shard恢复耗时过长问题定制的重要参数shardrecovery配置以及集群重启时的无意义shard重分配问题在集群重启的时候,有一些配置会影响shard恢复的过程
小山居
·
2024-09-16 03:53
【从问题中去学习k8s】k8s中的常见面试题(夯实理论基础)(二十八)
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-16 02:26
k8s
学习
kubernetes
容器
Docker-compose minio
集群部署
一、虚机准备192.168.40.174192.168.40.174192.168.40.176二、下载docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动,minio的api端口为9000,控制台端口为9001174version:"3"
有点菜的运维
·
2024-09-14 19:04
docker
容器
运维
K8S - Volume - NFS 卷的简介和使用
在之前的文章里已经介绍了K8S中两个简单卷类型hostpath和emptydirk8s-Volume简介和HostPath的使用K8S-Emptydir-取代
ELK
使用fluentd构建loggingsaidcar
nvd11
·
2024-09-14 11:13
K8S
kubernetes
容器
云原生
fluentd 简介,日志收集并导入BigQuery
日志收集的工具有很多种例如Splunk,很多大公司都在使用,但是个人使用的话并不合适,主要是需要license的…钱是1个大问题另1个常见开源的解决方案是
ELK
,但是搭建和学习成本高,如果只是为了日志收集并不值
nvd11
·
2024-09-14 11:12
Cloud
spring
Etl
spring
boot
ELK
架构中 ES 性能优化
1.背景由于目前日志采集流程中,经常遇到用户磁盘IO占用超过90%以上的场景,但是观察其日志量大约在2k~5k之间,整体数据量不大,所以针对该问题进行了一系列的压测和实验验证,最后得出这篇优化建议文档2.压测前期准备2.1制造大量日志该阶段为数据源输入阶段,为了避免瓶颈在数据制造侧,所以需要保证filebeat具有足够的日志制造能力最后效果,filebeat可以达到70kQPS的数据发往logst
xianjie0318
·
2024-09-14 10:38
elk
架构
elasticsearch
K8S - Emptydir - 取代
ELK
使用fluentd 构建logging saidcar
但是k8s本身并没有提供集中查询多个pod的日志的功能其中1个常见方案就是
ELK
.本文的方案是利用fluentdsidecar和emptydir把多个pod的日志导向到bigquery的table中。
nvd11
·
2024-09-14 10:38
K8S
kubernetes
5分钟熟练上手ES的具体使用
5分钟上手ES的具体使用相信有很多同学想要去学习
elk
时会使用docker等一些方式去下载相关程序,但提到真正去使用es的一系列操作时又会知之甚少。于是这一篇博客应运而生。
佚名涙
·
2024-09-14 06:41
elasticsearch
jenkins
大数据
学习
【从问题中去学习k8s】k8s中的常见面试题(夯实理论基础)(十一)
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-13 18:51
k8s
学习
kubernetes
容器
k8s
集群部署
:centos arm 部署Jenkins、harbor
如果因网络问题,无法通过下方链接下载相关包的话,可通过以下链接进行下载:jenkins:https://download.csdn.net/download/qq_34322136/89734306harbor:https://download.csdn.net/download/qq_34322136/89734276一、安装jenkins1、下载Jenkins安装包下载#下载war包https
亦诗亦诗
·
2024-09-13 01:32
k8s
kubernetes
centos
arm开发
【mysql】mysql之优化
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-11 15:22
DBA
mysql
数据库
dolphinscheduler独立
集群部署
文档(海豚调度)
一、下载解压服务器内下载(华为云镜像站网址):wgethttps://mirrors.huaweicloud.com/apache/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz解压:tar-xvfapache-dolphinscheduler-3.2.0-bin.tar.gz改名:mvapache-dolphinsc
灰太狼!!
·
2024-09-10 16:30
数仓开发
资源调度
scheduler
flink独立
集群部署
#flink独立
集群部署
说明安装环境三台服务器47.106.23.1(master)47.112.173.2(worker1)47.115.162.3(worker1)提前装好jdk和ssh,以下操作最好不要用
嘎子吱吱吱吱
·
2024-09-10 16:28
flink
hadoop
linux
Eureka vs. Nacos:注册中心角色之间的不同特性
当程序并发量大,提供者以
集群部署
时,应该如何选择?
8tydegrees
·
2024-09-09 12:46
cloud
eureka
云原生
微服务
容器
网络
ELK
架构介绍
一、
ELK
简介
ELK
是由三个开源软件组成的,分别是:Elasticsearch、Logstash和Kibana,这三个软件各自在日志管理和数据分析领域发挥着重要作用。
星河漫漫l
·
2024-09-09 11:40
elk
elasticsearch
运维
服务器
ELK
日志分析系统之集成Filebeat
二、集成Filebeat1.安装Filebeat2.配置3.启动本博在
ELK
日志分析系统搭建一文中,介绍了使用Elasticsearch、Logstash、Kibana来搭建
ELK
。
奔跑吧邓邓子
·
2024-09-08 13:07
高效运维
使用
ELK
Stack 进行云原生日志记录和监控:AWS 中的开发运营方法
使用
ELK
Stack进行云原生日志记录和监控欢迎来到雲闪世界。在当今的云原生世界中,日志记录和监控是强大的DevOps策略的重要组成部分。
数云界
·
2024-09-08 11:21
elk
云原生
aws
Vicky的ScalersTalk第六轮新概念朗读持续力训练Day50 20210319
练习材料:AlostshipPart-1一艘沉船Thesalvageoperationhadbeenacompletefailure.Thesmallship,
Elk
or,whichhadbeensearchingtheBarentsSeaforweeks
Vicky_b9de
·
2024-09-08 03:45
一、
ELK
架构介绍
一、
ELK
架构介绍
ELK
是一个应用套件,由Elasticsearch/Logstash/Kibana三个部分软件组成,简称
ELK
。
ELK
是一个做日志分析的管理系统。
李白望明月
·
2024-09-07 15:03
ELK基础介绍
elk
【网络架构】
ELK
目录一、
ELK
介绍1.1
ELK
是什么1.2Elasticsearch1.3Logstash1.4Kibana1.5为什么使用
ELK
二、
ELK
原理2.1工作原理2.2
ELK
的应用架构图三、
ELK
的安装部署
云计算稿手
·
2024-09-07 15:32
网络架构
架构
elk
ELK
架构
一、Logstash+elasticsearch+Kibana首先由Logstash分布于各个节点上搜集相关日志、数据,并经过分析、过滤后发送给远端服务器上elasticsearch进行存储。elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询,操作。用户也可以直观的通过配置KibanaWebPortal方便的对日志进行查询,并根据数据生成报表。优点:搭建简单,易于上手。
小楚同学呀~
·
2024-09-07 14:57
SpringCloud集成
ELK
1、添加依赖net.logstash.logbacklogstash-logback-encoder6.12、在logback-spring.xml中添加配置信息(logback-spring.xml在文末)192.168.2.203:4560............192.168.2.203:4560对应搭建的Logstash地址Logback日志打印由于SpringBoot项目在引用了sprn
echola_mendes
·
2024-09-07 11:07
ELK
spring
cloud
elk
java
ELK
7.8部署:Elasticsearch+Logstash+Kibana搭建分布式日志平台
ELK
7.8部署:Elasticsearch+Logstash+Kibana搭建分布式日志平台一、前言1、
ELK
简介2、
ELK
工作流二、准备工作1、服务器&软件环境说明2、
ELK
环境准备三、Elasticsearch
_海风_
·
2024-09-07 10:33
运维
分布式
ELK
处理 SpringBoot 日志,真实太妙了!
本文带您了解一下开源的实时日志分析平台
ELK
的搭建及使用。
ELK
简介
ELK
是一个开源的实时日志分析平台,它主要由Elasticsearch、Logst
进击的王小二
·
2024-09-07 00:56
大数据
java
elk
spring
boot
SpringBoot+Kafka+
ELK
完成海量日志收集(超详细)
SpringBoot项目准备引入log4j2替换SpringBoot默认log,demo项目结构如下:pomIndexController测试Controller,用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目,访问/index和/ero接口,可以看到项目中生成了app
2401_83703797
·
2024-09-07 00:25
程序员
spring
boot
kafka
elk
spring cloud搭建
elk
elastic官网:https://www.elastic.co/cn/downloads1.elasticsearch-6.2.2(存储日志数据)wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz2.logstash-6.2.2(收集日志数据)wgethttps://artifac
2301_79655496
·
2024-09-06 16:01
程序员
spring
cloud
elk
jenkins
k8s安装test
k8s
集群部署
准备工作三台centos7虚拟机(内存每个节点4G)[root@master~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core
qBeautifulBoy
·
2024-09-06 15:23
kubernetes
容器
云原生
1+X云计算运维与开发(中级)实战案例——Kafka
集群部署
前言Kafka是一种开源的流处理平台和消息系统,被设计用于构建实时数据管道和流式应用程序,可以处理大规模的实时数据流,并提供高吞吐量、持久性存储和分布式处理能力。在实时数据处理、日志聚合、指标监控、事件驱动架构等场景下,Kafka有着广泛的应用。它的高性能、可扩展性以及丰富的功能使其成为了大数据领域中的重要工具之一。Kafka中发布订阅的对象是topic。用户可以为每类数据创建一个topic,把向
kuuuugua
·
2024-09-05 15:41
1+X云计算运维与开发(中级)
云计算
运维
kafka
【从问题中去学习k8s】k8s中的常见面试题(夯实理论基础)(二十四)
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-05 00:07
k8s
学习
kubernetes
容器
【从问题中去学习k8s】k8s中的常见面试题(夯实理论基础)(十九)
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-05 00:07
k8s
学习
kubernetes
容器
【从问题中去学习k8s】k8s中的常见面试题(夯实理论基础)(二)
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-05 00:37
k8s
学习
kubernetes
容器
【从问题中去学习k8s】k8s中的常见面试题(夯实理论基础)(二十三)
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-09-04 23:02
k8s
学习
kubernetes
容器
【GaussDB(DWS)】数仓部署架构与物理结构分析
数仓架构与物理结构分析一、部署架构二、物理结构三、测试验证一、部署架构华为数据仓库服务DWS,集群版本8.1.3.x集群拓扑结构:上述拓扑结构为DWS单AZ高可靠部署架构,为减少硬件故障对系统可用性的影响,建议
集群部署
方案遵循如下原则
若兰幽竹
·
2024-09-03 20:06
GaussDB
DWS
gaussdb
Kafka-3.3.4摒弃zookeeper
集群部署
操作文档
一、集群规划kafka从2.8版本开始,就允许用户在不需要zookeeper的情况下运行。真正全面摒弃zookeeper的版本是3.0,在后面的版本kafka使用了新的元数据管理方式kraft,提高了Kafka的可扩展性、可用性和性能。下载地址:ApacheKafka这里下载kafka_2.13-3.4.0.tgz版本,自带有支持raft模式主机名称IPprocess.rolesnode.idma
ShoShin1020
·
2024-09-02 18:28
kafka
zookeeper
分布式
Spring Boot/Cloud实现多服务Session共享
背景最近公司承接的某项目里,随着用户量的递增,单服务渐渐不能满足客户的需求了,客户方希望我们对原有的服务进行扩展,采用分布式
集群部署
的方式实现对高并发和负载均衡的支持。
雷袭月启
·
2024-09-02 01:12
spring
boot
后端
java
分布式锁 RedisSon
文章目录1.什么是分布式锁2.分布式锁应该具备哪些条件3.分布式锁主流的实现方案4.未添加分布式锁存在的问题4.1测试未添加分布式锁的代码通过jmeter发送请求4.2添加线程同步锁
集群部署
配置nginx
北执南念
·
2024-09-02 00:08
中间件
分布式
redis
Redis在linux环境
集群部署
详细介绍
而为了应对大规模数据存储和高可用性需求,Redis
集群部署
成为了必要的选择。本文将详细介绍如何在Linux环境下进行Redis
集群部署
,探讨不同的
集群部署
方式,并提供Docker部署示例。
J老熊
·
2024-09-01 14:02
redis
linux
数据库
面试
系统架构
运维
【深入学习Redis丨第二篇】Redis
集群部署
详解
文章目录Redis
集群部署
Redis4Cluster部署Redis
集群部署
1Redis各节点部署使用源码安装各节点,不过与非cluster方式不同的是,配置文件中需启动cluster相关的配置。
陈橘又青
·
2024-09-01 09:56
深入学习Redis
学习
redis
数据库
集群
高可用
缓存
openshift
集群部署
报错openshift_cluster_monitoring_operator: Wait for the ServiceMonitor CRD to be created
openshift
集群部署
在openshift_cluster_monitoring_operator:WaitfortheServiceMonitorCRDtobecreated无法通过报错信息:openshift_cluster_monitoring_operator
范一刀
·
2024-08-31 20:47
故障处理
Wait
for
the
ServerMonitor
CRD
【mysql】mysql之存储引擎学习
shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》
ELK
向往风的男子
·
2024-08-31 05:28
DBA
mysql
学习
数据库
33.ES集群规划—整体规划
如果内存很大如128G,可以在一台机器上运行多个ES节点两类应用场景:用于构建业务搜索功能模块,且多是垂直领域的搜索数据量级几千万到数十亿级别,一般2-4台机器规模用于大规模数据的实时OLAP(联机处理分析),如
ELK
Stack
大勇任卷舒
·
2024-08-31 02:20
单机 安装
ELK
日志分析系统
一、
ELK
介绍
ELK
Stack是软件集合Elasticsearch、Logstash、Kibana的简称,它们都是开源软件。
TheFlsah
·
2024-08-30 21:40
Linux
云端技术驾驭DAY07——Dockerfile详解、容器镜像制作、私有仓库
DAY01——云计算底层技术奥秘、云服务器磁盘技术、虚拟化管理、公有云概述云端技术驾驭DAY02——华为云管理、云主机管理、跳板机配置、制作私有镜像模板云端技术驾驭DAY03——云主机网站部署、web
集群部署
川川野马
·
2024-08-30 04:45
#
云端技术驾驭之路
云计算
运维
服务器
容器
经验分享
Kibana安装部署
并解压2.2重置kibana_system密码2.3编辑启动文件2.3进入界面三、使用3.1创建视图3.2视图优化概述Kibana是一个强大的开源数据可视化工具,它作为ElasticStack(以前称为
ELK
Stack
季风泯灭的季节
·
2024-08-30 01:29
Elastic
Stack
技术栈及其详细应用
运维
elk
kibana
从零开始:Kubernetes 集群的搭建与配置指南,超详细,保姆级教程
从零开始搭建Kubernetes集群从零开始搭建Kubernetes(K8s)
集群部署
方式准备工作(所有节点)1.关闭防火墙2.关闭SELinux3.关闭Swap分区4.设置主机名5.配置网络设置6.安装
Lentr0py
·
2024-08-29 22:38
kubernetes
容器
云原生
运维开发
运维
分布式
redis数据结构
hash)字符串列表(list)字符串集合(set)有序字符串集合(sortedset)key命名定义的注意点不要过长不要过短统一的命名规范常用命令判断key是否存在:existskey删除key:d
elk
ey
bullion
·
2024-08-29 04:09
39-nacos eureka zookeeper区别
支持
集群部署
和高可用。Eureka是Netflix开源的一款提供服务注册和发现的产品。设计思路是AP(可用性和分区容忍性)。不支
weixin_41775999
·
2024-08-28 22:56
eureka
zookeeper
云原生
Clickhouse
集群部署
安装
ClickHouse
集群部署
安装1、环境准备(1)、阿里云服务器两台集群节点信息192.168.5.13ch01192.168.5.14ch02(2)、修改/etc/cloud/cloud.cfg(所有节点
想当厨子的小章同学
·
2024-08-28 14:59
Clickhouse
linux
服务器
运维
clickhouse
集群部署
单节点设置为了延迟演示分布式环境的复杂性,我们将首先在单个服务器或虚拟机上部署ClickHouse。ClickHouse通常是从deb或rpm包安装,但对于不支持它们的操作系统也有其他方法。例如,您选择deb安装包,执行:sudoapt-getinstall-yapt-transport-httpsca-certificatesdirmngrsudoapt-keyadv--keyserverhkp
林鸟鸟
·
2024-08-28 14:29
clickhouse
clickhouse
服务器
k8s上的clickhouse
集群部署
并创建分布式表(附详细参数说明和参考链接)
k8s上的clickhouse
集群部署
并创建分布式表制作docker镜像创建configmap创建clickhouseservicepod创建clickhouseclientpod创建Service创建分布式表部署总体参考
KirutoCode
·
2024-08-28 14:56
开发技能
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他