日志收集第14页

技术分享| 消息队列Kafka群集部署

2、主要应用场景是日志收集：可以用kafka收集各种服务的日志，通过已统一接口的形式开放给各种消费

anyRTC·2023-04-09 23:24

【Kafka】日志收集分析平台搭建--问题总结（二)

为什么要用kafka？ApacheKafka是一种开源的分布式流处理平台，它可以处理大规模的数据流，提供高吞吐量、低延迟和高可靠性的数据传输和处理。以下是使用Kafka的一些优势：大规模数据处理：Kafka可以处理大量数据，支持每秒数百万条消息的处理和传输。这使得它成为处理大规模数据和高吞吐量数据的理想平台。高可靠性：Kafka具有高度可靠性，它可以保证消息的传输和处理能够在任何情况下都能够正常进

日近长安远·2023-04-09 23:07

【Kafka】日志收集分析平台搭建--问题总结（一）

直接先来三个简单的"是什么"问题~什么是负载均衡？负载均衡（LoadBalancing）是将网络流量分配到多个服务器上，以便合理地利用服务器资源、最大限度地减少响应时间、避免单点故障，提高系统的可靠性、可用性和扩展性。负载均衡可以根据服务器的负载情况，动态地分配请求，从而达到均衡负载的目的。什么是高可用?高可用（HighAvailability，简称HA）是指系统或应用在面对各种意外情况或故障时，

日近长安远·2023-04-09 23:36

【Kafka】kafka日志收集平台搭建（二）

继上一篇博文初步搭建好kafka+zookeeper+filebeat的集群平台后,这次我们继续给此集群添加功能并完善.数据入库(python实现)需求分析需要nginx日志的ip，时间，带宽字段将ip字段解析成相应的省份、运营商存入数据库的字段：id，时间，省份，运营商，带宽实验步骤1、创建数据表2、编写python脚本，从kafka获取nginx日志3、获取好的nginx日志，提取出ip，时间

日近长安远·2023-04-09 23:03

开发一个二方包，优雅地为系统接入ELK（elasticsearch+logstash+kibana）

去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入各个自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。

超级小霸王！·2023-04-09 22:00

一、ElasticSearch 基础概念

例如Kibana（用于可视化和数据分析）、Logstash（用于日志收集）、Beats（

coyote_xujie·2023-04-09 22:49

sparksql java 实例_sparkStreaming结合SparkSql实例

Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括

碧海云天97·2023-04-09 12:43

【Kafka】日志收集分析平台搭建（一）

小白的我最近开始学一些简单架构，了解架构。kafka+zookeeper+filebeat生产者-消费者环境准备1、准备好3台虚拟机搭建nginx和kafka集群2、配置好静态ip地址备注：NetworkManger或者network服务只运行一个启动/停止/重启：systemctlstart/stop/restartNetworkManagersystemctl管理的服务，配置文件在/usr/l

日近长安远·2023-04-09 12:01

Golang链路追踪监控

监控系统的对比：ELK：针对日志收集，分析，查找比较有优势Skywalking：对vm系统比较友好支持，支持OpenTracing协议Promethous：go原生支持，pull模式，也支持push，组件配合很完美需要解决的问题

hongyucai·2023-04-09 00:00

kafka简单上手

注：本文基于kafka2.13编写1关于kafkakafka是一个开源的分布式流处理平台，基于zookeeper协调，支持分区、多副本、多订阅者，主要用做日志收集系统或者是消息队列系统。

Blue summer·2023-04-08 15:40

Docker：ELK + kibana 日志收集系统

1、简述ELK作为一套日志收集工具，顾名思义，ELK包含了三个开源工具，它们分别是elasticsearch、logstash、kibana，其中elasticsearch是一款搜索和数据分析引擎，Logstash

拾荒的小海螺·2023-04-08 11:00

全链路日志追踪系统介绍与思考

文章目录什么是全链路日志追踪为什么需要分布式调用链如何实现开源框架其他框架个人思考的实现思路基础框架代码部分实现思路唯一id生成策略Snowflake算法ObjectIdRedishttp请求及rpc请求拦截与日志实现日志收集组件考虑及选型

小发花·2023-04-08 10:45

ubuntu系统环境elk相关软件和工具

elk日志收集学习研究了一段时间，简单总结了一下搭建使用过程中必备的相关组件和工具1.java环境elk可正常运行的前提条件ubuntu系统环境add-apt-repositoryppa:webupd8team

Shark1985·2023-04-08 09:35

【Elastic (ELK) Stack 实战教程】08、Logstash 分析业务 APP、Nginx、Mysql 日志实践

目录一、LogstashOutput插件1.1stdout插件1.2file插件1.3elastic插件二、Logstash分析App日志实践2.1APP日志收集概述2.2APP日志收集架构2.3APP

Stars.Sky·2023-04-08 03:02

HiLog使用说明

易用高扩展的日志组件HiLog封装功能清单能够打印堆栈信息支持任何数据类型的打印能够实现日志可视化能够实现文件打印和保存支持不同打印器的插拔日志经历的几个过程日志收集日志对外门面日志管理器日志配置日志初始化日志加工堆栈信息加工线程信息加工日志模型转换日志序列化日志打印控制台打印视图打印文件打印与保存

dashu52·2023-04-07 16:27

alibaba cloud+seata 分布式事务整合，logback+kafka+elk 日志收集

alibabacloud+seata分布式事务整合，logback+kafka+elk日志收集一、搭建Sentinel控制台1、下载sentienl的jar包，本例使用：sentinel-dashboard

weixin_38941788·2023-04-07 07:38

python实现一个创建日志收集器代码

下面是一个简单的Python代码示例，用于创建一个日志收集器并添加一些处理器。

SzetoZeZe·2023-04-07 06:21

ELK常见架构

2.Elasticsearch+Logstash+Filebeat+Kibana：相比上一个架构，该架构增加了filebeat模块，它是一个轻量级的日志收集处理工具，部署在客户端，Filebeat占用资

她的名字叫李承利·2023-04-06 16:44

ElasticSearch（九）：ELK 架构

日志收集——》格式化分析——》检索和可视化——》风险告警ELK架构经典的ELK整合消息队列+Nginx架构什么是LogstashLogstash核心概念Logstash数据传输原理Logstash配置文件结构

Men-DD·2023-04-06 16:39

Kafka核心概念、优势、应用场景与基本架构

主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(

ckw@ldy·2023-04-06 10:14

RocketMQ场景使用技巧

单向传输：单向传输用于需要中等可靠性的情况，例如日志收集。有序消息：FIFO顺序提供有序消息，发送/接收全局和分区排序。广播：向主题的所有订阅者发送消息。

好马行千里·2023-04-06 10:11

GO语言的进阶之路-协程和Channel

语言的语法上了解的差不多了，但是，如果想要你的代码和性能更高，那还得学点晋升的本来，这个时候我们就需要引入Golang的协成这个概念了，其实，你可能早就听说了Golang的优势就是处理大并发，我们可以用它来做日志收集系统

weixin_34077371·2023-04-06 06:06

linux运维零基础学习教程：Linux计划任务与日志的管理

本节所讲内容：16.1计划任务-at-cron-计划任务使用方法16.2日志的种类和记录的方式-自定义ssh服务日志类型和存储位置16.3实战-日志切割-搭建远程日志收集服务器16.4实战-配置公司内网服务器每天定时自动开关机大家平常都会有一些比如说

Xiadaoanquan123·2023-04-06 00:49

JECloud知识系列之后端框架选型

上篇我们讲了JECloud平台的前端框架选型，这篇我们讲解下JECloud的后端框架选型后端基础架构注册中心：ServiceCenter微服务框架：ServiceComb调用链追踪：SkyWalking日志收集

weiwell666·2023-04-05 20:46

（十八）从零开始搭建k8s集群——使用KubeSphere管理平台搭建logstash服务

前言logstash是ELK日志管理服务的重要组件之一，本节内容我们实现使用kubesphere管理平台搭建一个可横向扩展的高可用logstash服务，用于日志收集。

北溟溟·2023-04-05 08:22

Linux日志收集实操实验命令（保姆级）

♥️作者：小刘在C站♥️个人主页：小刘主页♥️每天分享云计算网络运维课堂笔记，努力不一定有收获，但一定会有收获加油！一起努力，共赴美好人生！♥️夕阳下，是最美的绽放，树高千尺，落叶归根人生不易，人间真情目录修改主机名：efk1.安装elasticsearch:2.修改配置文件：3.创建数据目录，并修改权限4.分配锁定内存:5.本机安装谷歌浏览器插件3.启动filebeatsystemctlstar

小刘在C站·2023-04-05 05:58

Flume简介及安装

flume作为cloudera开发的实时日志收集系统，用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地2.Flume架构Cl

May--J--Oldhu·2023-04-05 03:19

使用 ManageEngine Log360管理您的日志

1.自动日志收集Log360会自动发现网络上的Windows和syslog设备并摄取日志数据，它还定期从漏洞扫描程序和数据库等应用程序中自动导入日志数据。

运维有小邓@·2023-04-04 22:51

（五）史上最强ELK集群搭建系列教程——logstash搭建

logstash其实本身就具有日志收集的能力，以及信息过滤处理等功能，但是

北溟溟·2023-04-04 19:09

ELK集群搭建最佳实践

我们的需求是存储全国上万多家电厂的海量日志，所以一开始我们调研elasticsearch在海量日志收集、处理、存储、分析方面有着独一无二的优势，比如部署简单、架构简单又是分布式、可以水平伸缩扩展。

阿俊先生·2023-04-04 19:29

ELK集群搭建(基础教程）

文章目录机器准备集群内各台机器安装ElasticsearchELK收集Nginx的json日志ELK收集Nginx正常日志和错误日志ELK收集Tomcat日志ELK收集docker日志modules日志收集使用

Jeffrey_Zeng_·2023-04-04 19:50

日志收集工具ELK，简单集群配置

因项目部署在多台服务器上，如果出现Bug需要查询日志的时候，日志非常难查询。所以采用Logstash来收集日志，通过Kibana页面将日志展示出来。一开始偷懒，使用Docker安装了个单机版的ELK，后面日志体量上来后，发现只要增加条件查询，ELK就贼容易崩溃！后面通过排查发现，增加条件检索后ElasticSearch性能降的很快，内存消耗大大增加。之前通过Docker安装ELK只是简单玩玩，索引

qq_38468623·2023-04-04 19:47

日志收集系统架构

背景应用服务器多，日志文件被分散在各个应用服务器上，需要依次登录每台设备才能查看日志，效率低下，且不利于服务器安全管控，加大生产服务器的风险；日志文件不统一，各项目日志没有统一的规范，不利于管理和问题排查；日志文件占用服务器大量的硬盘空间，不及时清理会发生硬盘占满，影响系统的正常运行；服务器上对于百兆以上的日志文件无法打开、无法进行关键字搜索，不利于问题的快速定位和排查；集群和分布式的系统需要查看

火蓝2008·2023-04-04 08:27

日志收集分析平台04（数据入库）

目录一：MariaDB的安装与启动1.安装前需要删除系统已存在的mysql及mariadb2.安装mariadb3.启动并添加开机自启4.常用启动停止命令二：登录建库建表1.登录2.建库建表三：编写脚本清洗数据并进行入库效果展示一：MariaDB的安装与启动1.安装前需要删除系统已存在的mysql及mariadb[root@kafka-2~]#rpm-qa|grepmysql[root@kafka

~须尽欢·2023-04-04 08:23

ELK 日志收集系统方案

文章目录背景ELK使用组件简介方案1ELK方案二EFK方案三：FELK方案四：个性化框架总结：日志展示及查询环境背景在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4j就够了，随着应用的越来越多，日志散落在各个服务器的logs文件夹下，确实有点不大方便。或者是分布式系统：当我们需要日志分析的时候你大概会这么做：直接在日志文件中grep、awk就可以获

程序员劝退师丶·2023-04-04 08:18

架构分析：「转转云平台」的 Kubernetes 实践

Young丶·2023-04-04 03:01

EFLK四组件日志收集 ELK filebeat

filebeat和logstash的区别相同点：都可以做日志收集不同点：语言：logstash是JVM，filebeat是golang轻量级：logstash资源消耗比较大,filebeat更轻量级过滤

飘然生·2023-04-04 01:07

HAproxy+nginx 搭建负载均衡集群（haproxy日志收集）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、HAproxy概述（一）、什么是Haproxy（二）、Haproxy作用（三）、常见的Web集群调度器（四）、常用开源软件负载均衡器有：Nginx、LVS、Haproxy1、LVS2、Nginx3、Haproxy（五）、Haproxy应用分析（六）、Haproxy的特性（七）、常见负载均衡策略1、Haproxy支持多种

两只小羊~·2023-04-04 00:48

FLUME的架构 Flume NG

（一）Flume架构介绍1、Flume的概念flume是分布式的日志收集系统，它将各个服务器中的数据

yue31313·2023-04-03 22:03

JAVA分布式架构之kafka日志队列实战

架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。

lemonmini·2023-04-03 21:13

java微服务不侵入业务代码的情况下快速追踪一个请求链路中各个服务的运行日志

背景在使用微服务中，由于调用链路进一步的复杂，同一个请求可能会在不同的机器，jvm和线程中运行这样就造成了日志的发散和查找的困难，发散问题我们可以通过日志收集，重新聚合，例如ELK等，但是聚合的日志查找整个链路的日志依然非常困难

_junLing·2023-04-03 17:25

企业级大数据平台智能运维好帮手——星环科技多模数据平台监控软件Aquila Insight

通过丰富的仪表盘管理、告警与通知管理、实时和历史查询语句运行分析、计算和存储引擎的统一监控、完整的日志收集过滤与检索等功能，实现高效智能运维的目标，充分保证集群稳定高效的运作。

星环科技·2023-04-03 11:05

Spring实现日志注解

1、目的写项目的时候经常会通过日志来排查原因，一种是通过log4j将日志收集出来，然后使用elk进行数据的分类与统计，这种是针对大量的请求日志进行记录。

我自是年少韶华倾负·2023-04-03 10:06

日志收集项目

日志收集项目架构设计及Kafka目前主流的日志收集方案ELK360截图20200505170804824.jpgELK问题：增加一个日志收集项，需要手动修改配置。

雪上霜·2023-04-03 07:47

Android错误日志收集，腾讯Bugly

一、腾讯Bugly注册步骤腾讯Bugly官网地址1.去官网注册个帐号（要手机实名认证）2.找到自己的头像，点击我的产品3.新建产品，填写一些资料，注册搞定。二、Android项目集成Bugly下载SDK，BuglySDK下载地址在项目build.gradle文件，配置编译组件，配置如下：buildscript{repositories{mavenCentral()google()jcenter()

刘付文·2023-04-02 20:28

全链路日志收集追踪方案 - 美团

2022年07月21日作者:海友怀宇亚平立森文章链接11914字24分钟阅读1.背景1.1业务系统日益复杂随着互联网产品的快速发展，不断变化的商业环境和用户诉求带来了纷繁复杂的业务需求。业务系统需要支撑的业务场景越来越广、涵盖的业务逻辑越来越多，系统的复杂度也跟着快速提升。与此同时，由于微服务架构的演进，业务逻辑的实现往往需要依赖多个服务间的共同协作。总而言之，业务系统的日益复杂已经成为一种常态。

水的精神·2023-04-02 11:19

【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台（上）

日志打印的常见级别二、常见的日志收集方案2.1EFK2.2ELKStack2.3ELK+filebeat2.4其他方案三、EFK组件详细介绍3.1Elasticsearch组件介绍3.2Filebeat

Stars.Sky·2023-04-02 02:03

【官方文档】Fluentd 使用容器部署（Kubernetes）

这些场景的背后，都有一个日志代理负责日志收集、解析和分发：Fl

一线大码·2023-04-02 01:52

ELK+Filebeat+kafka+zookeeper集群架构的搭建(5.6.3)搭建日志平台

ELK+Filebeat+kafka+zookeeper集群架构的搭建(5.6.3)搭建日志分析平台由于机器数量限制，logstash服务是在一台主机上进行搭建的，ELK日志收集系统的架构图一、jdk的安装及配置

lufei0920·2023-04-02 00:45

Kafka副本同步机制

Kafka副本同步机制理解ApacheKafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。ApacheKafka特性之一是它的复制协议。

wrr-cat·2023-04-01 04:44

推荐频道

日志收集