E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ELK集群搭建
k8s使用filebeat和
ELK
收集存储日志
k8s使用filebeat和
ELK
收集存储集群日志一、filebeat1.filebeat的configmap介绍2.k8s配置介绍二、logstash1.配置pipeline2.配置my.config
Will4j
·
2024-02-06 14:02
持续集成
kubernetes
filebeat
logstash
elasticsearch
kibana
【k8s】【
ELK
】【二】基于节点DaemonSet运行日志Agent实践
1.日志收集场景分析与说明部署架构说明对于那些将日志输出到,stdout与stderr的Pod,可以直接使用DaemonSet控制器在每个Node节点上运行一个filebeat、logstash、fluentd容器进行统一的收集,而后写入到日志存储系统。2.filebeat部署#创建ServiceAccountkubectlcreateserviceaccountfilebeat-nlogging
Nightwish5
·
2024-02-06 14:56
kubernetes
elk
filebeat
logstash
k8s filebeat 应用日志搜集
实施:filebeat使用daemonSet(见附录)进行构建:【k8s】【
ELK
】【二】基于节点DaemonSet运行日志Agent实践_k8s
elk
daemonsets方案-CSDN博客需要结合实际场景配置
li371490890
·
2024-02-06 14:24
kubernetes
容器
云原生
redis
集群搭建
(基于redis5.0+)
一、前戏1.1下载软件去官网下载软件:https://redis.io/download,笔者使用的是5.0.12,理由就是本人公司使用的也是这个版本。1.2物理机配置本人搭建的是3主3从。使用3台虚拟机,保证主从分配不在一台机器上,避免某台机器挂掉而影响整个集群的运行。物理配置:1.192.168.37.133:63702.192.168.37.133:63803.192.168.37.130:
She_lock
·
2024-02-06 12:51
redis
redis5.0集群
redis集群常见错误
redis启动脚本
redis集群最简配置
RabbitMQ
集群搭建
rabbitMQ的两种重要特性,异步化提高系统抗峰值能力和系统及功能解耦,这两个特点决定了rabbitMQ在我们的系统中占据了重要的地位,所以为了让RabbitMQ高可用,我们今天就来讲解下RabbitMQ的集群环境搭建应用常识一般情况下,一个单机版的rabbitMQ能承受大运1000/s的消息量(跟网络和消息的大小有关,数值存在波动),但是如果是集群环境中,就可以将访问的压力分摊到集群中的其他节
AmosZhu
·
2024-02-06 10:12
minio
集群搭建
(纠删码模式)
搭一个4个节点,16块硬盘的minio集群。1.先做一些准备工作,新建了4个centos7的虚拟机,各新添加4块硬盘我用的虚拟机软件是VirtualBox,先搭建4个虚拟机,即4个节点,建虚拟机就不讲了用VirtualBox添加硬盘,这几台虚拟机硬盘我都添加过了,我用一个其他node35这个机器介绍硬盘添加添加磁盘这块我也不是特别懂,但是在搭建minio集群的过程中我是这么做的,而且成功了下一步,
hahaha 1hhh
·
2024-02-06 09:52
minio
centos
Kafka 使用手册
2.kafka基础架构3.kafka
集群搭建
4.kafka命令行操作主题命令行【topic】生产者命令行【producer】消费者命令行【consumer】5.kafka生产者生产者消息发送流程Producer
@lihewei
·
2024-02-06 08:01
kafka
分布式
ELFK日志采 - QuickStart
文章目录架构选型
ELK
EFLKElasticsearchES
集群搭建
常用命令Filebeat功能介绍安装步骤Filebeat配置详解filebeat常用命令Logstash功能介绍安装步骤Input插件
@lihewei
·
2024-02-06 07:25
elk
Redis(三)主从架构、Redis哨兵架构、Redis集群方案对比、Redis高可用
集群搭建
、Redis高可用集群之水平扩展
转自极客时间Redis主从架构redis主从架构搭建,配置从节点步骤:1、复制一份redis.conf文件2、将相关配置修改为如下值:port6380pidfile/var/run/redis_6380.pid#把pid进程号写入pidfile配置的文件logfile"6380.log"dir/usr/local/redis-5.0.3/data/6380#指定数据存放目录#需要注释掉bind#b
_蓝天IT_
·
2024-02-06 07:37
分布式
redis
架构
java
MongoDB分片
集群搭建
----前言mongodb分片一般用得比较少,需要较多的服务器,还有三种的角色一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb复本集mongodb分片技术mongodb副本集可以解决数据备份、读性能的问题,但由于mongodb副本集是每份数据都一模一样的,无法解决数据量过大问题mongodb分片技术能够把数据分成两份存储,假如shijiange.myuser里面有1亿条数据
ZzzkiYoumi
·
2024-02-06 06:21
MongoDB
mongodb
数据库
dba
Filebeat处理多行换行的问题
问题:在使用filebeat+elabscience或者filebeat+
elk
又或者其他桥接器的时候,因为filbeat默认使用单行显示的原因,但日志出现堆栈错误或其他多行日志时会出现如下错误处理办法
Future_By_Now
·
2024-02-06 06:44
工具使用
架构相关
filebeat
Docker安装部署
ELK
(Elasticsearch+Kibana+Logstash+Filebeat)
Docker安装部署
ELK
(Elasticsearch+Kibana+Logstash+Filebeat)
ELK
是由Elasticsearch、Logstash和Kibana三部分组件组成。
zhanglb12
·
2024-02-06 02:57
2.RocketMQ
集群搭建
与消息发送样例
1.RocketMQ
集群搭建
1.1各角色介绍mqGroup.png角色NameServer:Broker的管理者。Broker自己去上报NameServer自己的存在Broker:消息的存储者。
lambdaCC
·
2024-02-06 00:58
postgres 设置自增id的值
因此修改方法是手动为id指定一个新的起始自增长的值,具体修改方法如下:运行"SELECTc.relnameFROMpg_classcWHEREc.r
elk
ind='S';"看看你本地输出中是否包含appraisals_appraisal_id_seq
worldzhy
·
2024-02-05 20:24
数据库
postgres
自增
id
PostgreSQL自增序列-主键冲突问题
FROM表名;查询全部序列:select*frompg_classwhererelowner=(selectusesysidfrompg_userwhereusename='postgres')andr
elk
ind
子木倾然
·
2024-02-05 20:22
数据库
PostgreSQL自增序列手工设置主键+自动生成主键融合使用
CSDN博客查询全部序列:select*frompg_classwhererelowner=(selectusesysidfrompg_userwhereusename='postgres')andr
elk
ind
大龄菜鸟(学习中)
·
2024-02-05 20:51
数据库开发
数据库
Kafka2.13
集群搭建
并配置hosts172.17.0.2 node0172.17.0.3 node1172.17.0.4 node2在其中一台服务器中搭建Zookeeper(单机或集群都可以)Zookeeper
集群搭建
参考链接下载
咩哥无敌
·
2024-02-05 17:57
kafka
kafka
zookeeper
分布式
6.Linux虚拟机下的Hadoop
集群搭建
之完全分布式配置
Hadoop及相关组件搭建指导WeChat:h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置Hadoop集群主节点1.进入目标文件夹。cd/usr/local/hadoop/etc/ha
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
4.Linux虚拟机下的Hadoop
集群搭建
之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
微服务入门篇:Nacos注册中心(Nacos安装,快速入门,多级存储,负载均衡,环境隔离,配置管理,热更新,
集群搭建
,nginx反向代理)
目录1.Nacos安装1.官网下载2.解压到本地3.启动nacos2.Nacos快速入门1.在父工程中导入nacos依赖2.给子项目添加客户端依赖3.修改对应服务的配置文件4.启动服务,查看nacos发现情况3.Nacos服务多级存储模型4.NacosRule负载均衡5.服务实例的权重设置6.环境隔离(namespace)7.Nacos和Eureka的对比1.临时实例和非临时实例2.Nacos与e
JungleiRim
·
2024-02-05 10:39
微服务学习
微服务
负载均衡
架构
【Redis】String 的基本操作和场景说明
一.字符串的基本操作setkeyvalue//设置keygetkey//获取key的值d
elk
ey//删除keymsetkeyvaluekey1value1添加/修改多个数据mgetkeykey1//获取多个数据
上善若水-学者至上
·
2024-02-05 10:37
REDIS
redis
数据库
缓存
kafka高可用
集群搭建
kafka高可用
集群搭建
说明这篇博文主要是为了后面的
elk
做准备,我们这里搭建一个kafka集群,使用2个节点,还是前面的节点。主要是为了后面做数据缓冲。
憧憬blog
·
2024-02-05 09:40
分布式
kafka
java
zookeeper
linux
17、
ELK
17、
ELK
helm安装
elk
fk(kafka集群外可访问)ES/Kibanavalues-prod.yamlvalues-prod.yaml~/kibana/kibana-Ingress.yml~/kafka-yml
Linux云计算+运维开发
·
2024-02-05 06:29
elk
c#
kubernetes
容器
云原生
istio
网络
Nacos 集群
Nacos
集群搭建
1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
漠丶小翁
·
2024-02-05 04:12
优化集中式日志记录的方法:添加 Logstash 过滤器
增加
ELK
Stack(Elasticsearch、Logstash和Kibana)设置的有效性之一是通过收集重要的应用程序日志,并通过使用过滤器对日志数据进行结构化,以便数据可以被轻松分析和查询。
白如意i
·
2024-02-04 22:53
go
jenkins
github
运维
ggpubr|让数据可视化更加优雅
ggpubr_cover.jpgggpubr的基础用法指南ggpubr_githubggpubr是由Alboukad
elK
assambara创建的,基于ggplot2的可视化包。
木舟笔记
·
2024-02-04 22:23
Hadoop
集群搭建
以下是一个基本的Hadoop
集群搭建
流程,假设你已经有了一些基础的Linux操作系统知识,并且准备在多台机器上搭建一个简单的Hadoop集群。
终将老去的穷苦程序员
·
2024-02-04 19:53
hadoop
大数据入门--zookeeper(一)--
集群搭建
与常用指令
Zookeeper单机搭建下载官方安装包#解压tar-zxvfzookeeper-3.4.5.tar.gz-C/opt/module/#配置zoo.conf,只需要将conf/zoo_sample.conf重命名为zoo.conf即可mvconf/zoo_sample.cfgconf/zoo.cfg#启动bin/zkServer.shstart#查询状态bin/zkServer.shstatus#
许中宝
·
2024-02-04 11:40
大数据
zookeeper
大数据
zookeeper
Hbase2.1
集群搭建
>Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了[Hadoop3.2
集群搭建
](https://www.jianshu.com/p/3182aaff918d
kikiki4
·
2024-02-04 11:08
ELK
(ElasticSearch, Logstash, Kibana)从入门到精通
简介“
ELK
”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。
kuokay
·
2024-02-04 10:57
运维
elasticsearch
搜索引擎
ELK
logstash快速入门实战指南-Logstash简介
作者其他
ELK
快速入门系列文章Elasticsearch从入门到精通Kibana从入门到精通Logstash是一个具有实时流水线功能的开源数据收集引擎。
weixin_30593443
·
2024-02-04 10:27
嵌入式
jira
大数据
ELK
Logstash Grok入门指南
https://logz.io/blog/logstash-grok/)Theabilitytoefficientlyanalyzeandquerythedatabeingshippedintothe
ELK
Stackdependsontheinformationbeingreadable.Thismeansthatasunstructu
富士康质检员张全蛋
·
2024-02-04 10:57
ELK
elk
【
ELK
】(七)logstash快速入门
在一个典型的使用场景下(
ELK
):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。
云 祁
·
2024-02-04 10:26
#
----
ElasticSearch
Logstash 快速入门
在一个典型的使用场景下(
ELK
):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。
iuhiyuh
·
2024-02-04 10:26
ELK
hadoop
ELK
Logstash
【
ELK
】logstash快速入门
1.概述1.1.什么是logstash?之前我们聊了es,并且用docker搭建了一个es+kibana的环境。es目前最普遍的用法是用来存储日志的,然后结合kibana对日志做一些可视化的工作。既然要收集日志,就面临着一个问题:各个系统的日志格式可能是不一样的。这就需要有一个中间层,将收集上来的日志处理一遍,然后存进es里面去。es的母公司elastic推出了一套组件,专门用来做日志收集、存储、
_BugMan
·
2024-02-04 10:25
elastic
search
elasticsearch
logback
elk
Elasticsearch 学习
Elasticseach学习ES简介ES结合kibana、Logstash、Beat,也就是elasticstack(
ELK
)。
zhouwenxing666
·
2024-02-04 08:38
elasticsearch
微服务
全文检索
springboot
java
idea
spring
boot
nacos
集群搭建
Nacos
集群搭建
1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
程序媛9688
·
2024-02-04 07:04
oracle
数据库
分布式(一)Redis的数据结构
//批量获取字符串键值D
ELk
ey[key...]//删除一个键EXPIREkeyseconds//设置一个键的过期时间
_蓝天IT_
·
2024-02-04 06:21
分布式
redis
数据结构
RabbitMQ
集群搭建
1.规划节点192.168.200.4---rabbitmq1---RabbitMQ磁盘节点192.168.200.5—rabbitmq2—RabbitMQ内存节点192.168.200.6—rabbitmq3—RabbitMQ内存节点使用OpenStack平台创建三台云主机进行实验,云主机镜像使用提供的CentOS_7.5_x86_64_XD.qcow2镜像,flavor使用1核/2G内存/20
曹博Blog
·
2024-02-04 05:54
Linux
rabbitmq
ruby
centos
【ElasticSearch】概述
它属于ElasticStack(以前称为
ELK
Stack),包括Elasticsearch、Lo
流转星云
·
2024-02-03 23:42
elasticsearch
搜索引擎
elasticsearch
大数据
搜索引擎
GrayLog踩坑历险记
背景GrayLog作为
ELK
的替代产品,是新生代的日志采集框架。在一个采集节点日志的需求中,因为节点很多,产生的日志也很多,因此尝试了使用GrayLog进行日志的采集。
敲代码的小小酥
·
2024-02-03 19:59
日常开发总结
graylog
PP193、194、196
PP1931.态度题:assertbeaver定位Duringthewolf-freeera,heavybrowsingofaspentreesby
elk
populationsspelleddoomnotonlyfortreesthemselvesbutforahostofothercreaturesdependentonthem
给钱的是大爷
·
2024-02-03 18:42
Redis常用命令
redisredis-cli-h127.0.0.1-p6379查看key的数量DBSIZE获取值ds_getkey1;getkey1设置keysetkey1value1获取所有keykeys*删除keyd
elk
ey1
占星安啦
·
2024-02-03 18:59
理论笔记
redis
linx命令
Fabric CA 1.4 官方文档中文版
链接:FabricCA中文文档目录概述FabricCA概述快速上手安装前提条件安装软件使用FabricCA命令行配置软件FabricCA服务器初始化服务器启动服务器配置数据库配置LDAP搭建
集群搭建
多个
编程狂魔
·
2024-02-03 15:23
kubernetes
集群搭建
( kubeadm 方式 )
1、前置知识点目前生产部署kubernetes集群主要有两种方式,kubeadm方式和二进制方式,其中kubeadm方式比较方便快捷,kubeadm是一个K8s部署工具,提供kubeadminit和kubeadmjoin,用于快速部署kubernetes集群。官方地址:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
無法複制
·
2024-02-03 08:41
kubernetes
Elasticsearch(一)
1、ElasticsearchTheElasticStack,包括Elasticsearch、Kibana、Beats和Logstash(也称为
ELK
Stack)。
蒋一清
·
2024-02-03 07:29
搜索引擎
elasticsearch
大数据
搜索引擎
一线大厂面试真题——谈谈你对ES的理解
它最主要的应用场景是
ELK
的日志分析系统。另外它还有以下特点:1.第一、采用Master-slave架构,实现数据的分片和备份2.第二、使用Java编写,并对Lucene进行封装,隐藏了L
似来
·
2024-02-03 00:44
Spring
Cloud生态必问面试题
面试
elasticsearch
职场和发展
rpc
开发语言
大数据
搜索引擎
Nginx安装配置和Django前后端分离项目部署
所需安装环境:yuminstall-ypcre-devel,openssl-devel下载wget-chttps://nginx.org/download/nginx-1.10.3.tar.gz解压[root@
elk
01
Petrus_shuai
·
2024-02-02 23:36
运维
Django
Nginx安装
Django前后端分离项目部署
ELK
多用户登录
先搭建
ELK
集群环境请移步至:Filebeat+
ELK
搭建日志收集平台ES开启TLS加密通信与身份认证进入ES集群任意一台安装目录,生成ca证书这里最好使用ES启动账号操作,证书生成过程中一直回车到完成
夕阳西下,断肠人在天涯
·
2024-02-02 17:40
运维
elk
elasticsearch
java
Kafka
集群搭建
Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。本期是分享Kafka,若想看zookeeper搭建请看:zookeeper搭建(单机模式和集群模式)-CSDN博客1.下载压缩包链接:https://pan.baidu.com/s/1zxJRd13rgHfJexP-Jbl36g提取码:lcmi当然,您也可以从官网下载2.解压tar-zxvf/opt/softwa
莫噶
·
2024-02-02 14:30
搭建
kafka
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他