日志采集

php 高并发下日志量巨大，如何高效采集、存储、分析

2.主流架构方案一、分布式日志采集架构[应用服务器(PHP等)]|v[日志采集Agent（如Filebeat、Fluentd、Logstash）]|v[消息队列/缓冲（如Kafka、Redis、RabbitMQ
贵哥的编程之路(热爱分享 为后来者)·2025-07-12 18:02

Kubernetes日志运维痛点及日志系统架构设计 （Promtail+Loki+Grafana）

Kubernetes日志运维痛点及日志系统架构设计（Promtail+Loki+Grafana）运维痛点日志采集的可靠性与复杂性pod生命周期短、易销毁容器重启或Pod被销毁后，日志会丢失（除非已持久化或集中采集
·2025-07-09 16:49

大前端日志分析的AI应用：从海量日志中提取有价值的运维信息

本文将系统阐述AI技术如何赋能大前端日志分析，从日志采集到智能诊断的全流程解决方案，结合实际案例展示如何利用机器学
欧阳天羲·2025-07-07 20:48

java分析tomcat日志_tomcat日志采集

1、采集tomcat确实比之前的需求复杂很多，我在搭建了一个tomcat的环境，然后产生如下报错先贴出来：Jan05,201710:53:35AMorg.apache.catalina.core.AprLifecycleListenerlifecycleEventINFO:TheAPRbasedApacheTomcatNativelibrarywhichallowsoptimalperforman
催眠神兔·2025-07-05 04:39

Python 自动化日志采集与分析方法

```htmlPython自动化日志采集与分析方法Python自动化日志采集与分析方法在现代软件开发和运维过程中，日志是排查问题、监控系统运行状态的重要工具。
·2025-07-05 02:25

大数据ETL工具比较：Sqoop vs Flume vs Kafka

大数据ETL工具比较：SqoopvsFlumevsKafka关键词：大数据ETL、Sqoop、Flume、Kafka、数据迁移、日志采集、消息队列摘要：在大数据生态中，ETL（抽取-转换-加载）是数据价值挖掘的关键环节
AI天才研究院·2025-07-01 00:01

性能监控与智能诊断系统的全流程

关键特性：全链路覆盖：从日志采集到最终告警展示。实时处理：基于流处理引擎（Storm）快速加工数据。智能分析：引入AI进行根因分析。闭环进化：告警反馈驱动模型训练，系统自学习优化。
·2025-06-24 10:09

阿里云可观测 2025 年 5 月产品动态

AI智能体帮你玩转大规模指标数据分析DeepWiki×LoongCollector：AI重塑开源代码理解从o11y2.0说起，大数据Pipeline的「多快好省」之道日志采集Agent性能大比拼——LoongCollector
阿里云云原生·2025-06-14 14:09

ELK日志采集系统

ELK日志采集系统指的是由Elasticsearch、Logstash和Kibana三个核心开源软件组成的套件，用于集中式日志的采集、处理、存储、搜索、分析和可视化。
UFIT·2025-06-14 12:54

Flume入门指南：大数据日志采集的秘密武器

目录一、Flume是什么？为何如此重要？二、Flume核心概念大揭秘2.1Agent：Flume的核心引擎2.2Source：数据的入口大门2.3Channel：数据的临时港湾2.4Sink：数据的最终归宿2.5Event：数据的最小单元三、Flume工作原理深度剖析3.1数据如何流动3.2可靠性保障机制四、Flume安装与配置实战4.1安装前的准备工作4.2下载与解压4.3配置文件详解4.4启动
£菜鸟也有梦·2025-06-11 01:50

一文读懂Loki、Promtail介绍和搭建，并且根据日志监控配置报警

其他文章可进入此专栏查看：Prometheus专栏说明之前再写Loki、Promtail、Grafana采集日志，根据日志采集业务指标这篇文章的时候，突然发现还没写Loki、Promtail的介绍和搭建文章
生产队的猿·2025-06-06 09:23

ELK日志收集之kafka 方案Filebeat + kafka + Logstash + ES + Kibana

一.简介常见的日志采集处理解决方案登录后复制Filebeat+ES+KibanaFilebeat+Logstash+ES+KibanaFilebeat+Kafka/Redis/File/Console+
心上之秋·2025-06-03 02:50

ES8生产实践——自定义日志采集(Filebeat方式)

在某些存在业务高峰期的场景下，期间可能会产生大量日志，如果继续使用fleet采集日志，使用ingest处理数据，可能会出现写入堆积的情况。此时可采用传统的Filebeat方式采集日志，引入Kafka作为消息缓冲队列，保证日志传输数据的可靠性和稳定性。接下来以日志demo程序为例，实现Filebeat采集——>kafka消息缓冲队列——>logstash解析处理数据——>es存储——>kibana数
崔亮的博客·2025-06-01 14:33

离线数仓01-用户行为日志采集平台

1数据仓库项目1.1数据仓库概念数据仓库（DataWarehouse）①日志采集系统②业务系统数据③爬虫系统等获得的数据进行清洗、转义、分类、重组、合并、拆分、统计等操作。
最佳第六六六人·2025-05-19 03:14

小程序开发工具日志分析：ELK堆栈应用

从日志采集规范设计到ELK集群部署，从Logstash数据清洗到Kibana可视化仪表盘搭建，结合具体代码案例演示日志处理全流程。深入解析
小程序开发2020·2025-05-11 15:44

【课程笔记】华为 HCIA-Big Data 大数据 总结

HBase非关系型分布式数据库Hive分布式数据仓库ClickHouse列式数据库管理系统MapReduce分布式计算框架Yarn资源管理调度器Spark分布式计算框架Flink分布式计算框架Flume日志采集工具
淵_ken·2025-04-29 22:12

【微服务优化】ELK日志聚合与查询性能提升实战指南

我们将涵盖日志采集策略、存储优化和查询性能提升，并提供相关的代码示例，帮助开发者在高并发、高频次的微服务环境中高效地进行日志分析和故
·2025-04-27 23:46

分布式计算实验三：分布式日志采集分析和异常检测系统

https://github.com/Alive0103/XDU-CS-lab能点个Star就更好了，欢迎来逛逛哇~❣代码在这https://www.alipan.com/s/d32riFafCrb分布式日志采集分析和异常检测系统项目概述本项目实现了一个基于
Alive～o.0·2025-04-27 05:00

Flume Source原理与代码实例讲解

FlumeSource原理与代码实例讲解1.背景介绍ApacheFlume是一个分布式、可靠且高可用的海量日志采集、聚合和传输的系统,它是Apache软件基金会的一个顶级项目。
AI天才研究院·2025-04-26 19:56

数据中台架构与技术体系

日志采集：Flume、Filebeat。数据缓冲与预处理：使用消息队列（如Kafka）作为缓冲区，应对数据流量峰值。数据存储层数据湖（DataLake）：存储原始
Aurora_NeAr·2025-04-21 04:27

springboot Filter实现请求响应全链路拦截！完整日志监控方案

解决方案：一个Filter同时拦截请求和响应，实现日志采集自动化！
浪浪山老周·2025-04-09 12:53

rabbitmq 消息队列

大型公司建议可以选用，如果有日志采集功能，肯定是首选kafka了。
小橘快跑·2025-04-05 17:04

【微服务优化】ELK日志聚合与查询性能提升实战指南

我们将涵盖日志采集策略、存储优化和查询性能提升，并提供相关的代码示例，帮助开发者在高并发、高频次的微服务环境中高效地进行日志分析和故
·2025-03-31 14:51

Windows PC上创建大数据职业技能竞赛实验环境之六--Flume、Kafka和Flink编程

1Flume参看日志采集工具Flume的安装与使用方法_厦大数据库实验室博客(xmu.edu.cn)。
liu9ang·2025-03-28 01:49

flume面试题整理

flume1.什么是flumeflume是一个分布式的基于流式架构的海量日志采集聚合传输的系统有高可用性和高可靠性2.flume由什么组成的？
狂飙婴儿车·2025-03-25 12:12

Centos使用docker搭建Graylog日志平台

Loki+Grafana+Promtail适用场景：1.如果需求复杂，服务器资源不受限制，推荐使用ELK（Logstash+Elasticsearch+Kibana）方案；2.如果需求仅是将不同服务器上的日志采集上来集中展示和检索
moxiaoran5753·2025-03-24 03:17

【华为OD机试】日志采集系统--C语言

#includeintinput[1000]={0};intfun(intx){intret=0;for(inti=0;i100){printf("100");}else{for(intj=1;j100){max_score=max_score>(100-fun(j))?max_score:(100-fun(j));break;}else{max_score=max_score>(cnt-fun(
weixin_51635462·2025-03-19 15:04

华为OD2023(A卷)基础题21【日志采集系统】

日志采集系统题目日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由采集系统分批上报。
大司码·2025-03-19 15:02

华为OD机试真题----日志采集(java)

华为OD机试真题中的“日志采集”是一个重要的题目，它主要考察的是如何在满足特定条件下，优化日志上报策略以获取最大积分。
努力努力再努力呐·2025-03-19 14:29

华为OD机试 - 日志采集系统（Python/JS/C/C++ 2024 E卷 100分）

一、题目描述日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由
哪 吒·2025-03-19 14:26

大数据学习（67）- Flume、Sqoop、Kafka、DataX对比

如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦工具主要作用数据流向实时性数据源/目标应用场景Flume实时日志采集与传输从数据源到存储系统实时日志文件、网络流量等→HDFS、HBase
viperrrrrrr·2025-03-15 09:51

基于 Flink 的海量日志实时处理系统的实践

海量日志实时处理需求分析在11.5节中讲解了Flink如何实时处理异常的日志，在那节中对比分析了几种常用的日志采集工具。
zhisheng_blog·2025-03-14 11:09

电商业务数据测试用例参考

1.数据采集层测试用例编号测试目标测试场景预期结果TC-001验证用户行为日志采集完整性模拟用户浏览、点击、加购行为KafkaTopic中日志记录数与模拟量一致TC-002验证无效数据过滤规则发送爬虫请求
SuperCreators·2025-03-09 22:40

Loki+Promtail+Grafana监控K8s日志

Loki,Promtail和Grafana构成了一套强大的日志监控解决方案，它们协同工作提供了高效的日志采集、存储和可视化功能。
xx155802862xx·2025-03-06 18:41

APO全量日志对接logstash和fluent日志采集生态

APO日志介绍采集流程图APO使用ilogtail作为日志采集组件并改造支持额外功能，在vector中进行日志结构化处理。APO日志功能日志指标统计日志数并生成日志数指标。
·2025-02-17 15:14

【kafka系列】如何选择消息语义？

At-Most-OnceAt-Least-OnceExactly-Once消息丢失风险高低无消息重复风险无高无网络开销最低（无重试）中等（可能重试）最高（事务+协调）适用场景可容忍丢失的实时数据流不允许丢失的日志采集金融交易
漫步者TZ·2025-02-17 02:49

数据仓库与数据挖掘记录 三

关键技术：SQL查询、Web爬虫、日志采集工具（如Flume）
匆匆整棹还·2025-02-14 21:27

Doris实战—构建日志存储与分析平台

出于运维可观测、网络安全监控及业务分析等多重需求，企业通常需要将分散的日志采集起来，进行集中存储、查询和分析，以进一步从日志数据里挖掘出有价值的内容。
不二人生·2025-02-09 18:47

EFK 日志系统收集K8s日志 (一)

日志收集的需求背景：•业务发展越来越庞大，服务器越来越多•各种访问日志、应用日志、错误日志量越来越多•开发人员排查问题，需要到服务器上查日志，效率低、权限不好控制•运维需实时关注业务访问情况二、容器特性给日志采集带来的难度
运维小弟| srebro.cn·2025-02-09 09:18

日志采集框架filebeat

日志采集框架1filebeat和logstash比较filebeat比logstash更小巧，更简洁一些，但是功能上logstash更强大logstash（用java编写的）用于ELK中，也是用来采集传输数据的
躲在没风的地方·2025-01-31 14:12

Openresty+Lua+Kafka实现日志实时采集（已测试）

概况最近实习领导要我了解一下nginx+lua实现日志采集，我们这边日志的采集好像就是用的这个。然后就在网上找了一下教程，说老实话，因为以前没接触过过这两个东西所以一开始比较懵。
野兽先辈·2025-01-25 03:22

openresty+lua+kafka 日志采集

背景：大流量服务收集用户行为日志需求:根据业务把不同的日志发送到不同主题中数据实时性高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua方案采用方案二，原因是nginx高性能，编写代码少，维护少，满足业务场景实施步骤线上请求到nginx后，使用lua组装json格式日志，异步发送到kafka集群根据不同业务日志,划分不同的topic推荐业务实施实时消费安装步骤安装openr
CHENYANG123·2025-01-25 03:50

【分布式日志篇】从工具选型到实战部署：全面解析日志采集与管理路径

网罗开发（小红书、快手、视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
网罗开发·2025-01-24 09:32

Moretl FileSync增量文件采集工具

永久免费:我们希望MoretlFileSync是一款通用性很好的文件日志采集工具,解决工厂环境下,通过共享目录采集文件,SMB协议存在的安全性,兼容性的问题.同时,我们发现工厂设备日志一般为增量,为方便
Moretl·2025-01-22 10:55

ELK 架构中 ES 性能优化

1.背景由于目前日志采集流程中,经常遇到用户磁盘IO占用超过90%以上的场景,但是观察其日志量大约在2k~5k之间,整体数据量不大,所以针对该问题进行了一系列的压测和实验验证,最后得出这篇优化建议文档2
xianjie0318·2024-09-14 10:38

ELK日志分析系统之集成Filebeat

不过由于Logstash是一个功能强大的日志服务，作为日志采集器会占用较多的系统资源，如果需要添加插件，全部服务器的Logstash都要添加插件，扩展性很差。而Filebeat作为一个轻
奔跑吧邓邓子·2024-09-08 13:07

基于Golang的云原生日志采集服务设计与实践

点击上方"编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文Intheend,it'snottheyearsinyourlifethatcount.It’sthelifeinyouryears.人生到头来，你活了多少岁不算什么，重要的是，你是如何度过这些岁月的。每日掏心话但凡会错过，一定不是最好的。有时候不是不明白，而是明白了也无能为力，于是就保持了沉默。责编：乐乐|来自：
程序员小乐·2024-09-06 01:50

【最新华为OD机试E卷】日志采集系统(100分)多语言题解-(Python/C/JavaScript/Java/Cpp)

大家好这里是春秋招笔试突围，一枚热爱算法的程序员✨本系列打算持续跟新华为OD-E/D卷的三语言AC题解ACM金牌️团队|多次AK大厂笔试｜编程一对一辅导感谢大家的订阅➕和喜欢最新华为OD机试D卷目录，全、新、准，题目覆盖率达95%以上，支持题目在线评测，专栏文章质量平均94分最新华为OD机试目录:https://blog.csdn.net/Qmtdearu/article/details/1393
春秋招笔试突围·2024-09-04 21:46

华为OD机试真题-日志采集-2024年OD统一考试（E卷）

题目描述日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由采集系统分批上报。如果上报太频繁，会对服务端造成压力;如果上报太晚，会降低用户的体验;·如果一次上报的条数太多，会导致超时失败。
ai因思坦·2024-09-04 15:42

Flume介绍及调优

一、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理
桓桓桓桓·2024-09-03 01:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他