日志清理

排查服务器异常流量教程详解

目录引言磁盘使用率报警原因分析解决方案1.日志迁移或清理2.日志清理网站流量异常，一直在报警通过分析日志排查异常流量首先切换到日志目录，比如我的目录是查看访问最频繁的前10个IP分析结果：解决异常流量公网
·2022-08-16 16:47

MySQL 高级篇 -- 数据库日志

4.2查看日志4.2.1showbinlogevents4.2.2mysqlbinlog4.3使用日志恢复数据4.4写入机制4.5两阶段提交4.6GTID五、中继日志（relaylog）六、日志管理6.1日志清理
L小Ray想有腮·2022-08-09 19:12

kafka之二kafka日志管理

本文主要内容有：日志管理相关实现类日志刷盘日志清理日志管理相关实现类kafka的日志管理是通过LogManager类实现的，它的主要作用是日志的创建、检索、清理。
·2022-07-28 17:36

[Zookeeper-3.6.2源码解析系列]-9-日志清理定时任务的启动

9-日志清理定时任务的启动9.1简介前面我们说了程序刚刚启动时候会去加载配置信息,配置信息加载完毕之后将会启动一个清理日志的工具(这个工具非常有用)接下来详细看下:QuorumPeerMain的初始化和启动方法
宋小生的博客·2022-05-22 15:21

深入理解Kafka核心设计及原理（五）：消息存储

转载请注明出处：https://www.cnblogs.com/zjdxr-up/p/16127749.html目录：5.1文件目录布局5.2消息压缩5.3日志索引5.4日志文件及索引文件分段触发条件5.5日志清理
香吧香·2022-04-10 21:00

kafka存储结构以及Log清理机制

本文主要聚焦kafka的日志存储以及日志清理相关。日志存储结构首先我们来看一张kafak的存储结构图。
坨坨的大数据·2021-12-17 09:42

Mysql空间清理的几种具体方法

目录前言1.查看文件磁盘占用1.1查看磁盘空间占用1.2查看目录空间占用2.Binlog日志清理2.1.定时自动清理Binlog日志2.2手动删除Binlog日志2.3.Slow日志清理2.4.Error
·2021-09-24 02:02

kafka日志清理引发的core dump问题

原文链接：http://fxbing.github.io/2021/...团队开发了kafkaonhdfs的功能，用以将kafka数据存储在hdfs上，但是在使用的过程中发现，有机器出现coredump现象。本文基于kafka版本0.10.2排查过程一、排查coredump文件由于出现了多次coredump问题，所以首先需要从coredump文件中进行分析。从coredump文件可以看出，以下几个
·2021-08-15 20:22

腾讯云TDSQL PostgreSQL WAL日志清理

作者崔鹏,曾获得中国PostgreSQL数据库管理高级工程师(PGCM),是PostgreSQL官方认证讲师,Mysql5.7/8.0OCP,Oracle11gOCM。WAL是WriteAheadLog的简写,10版本以后在$PGDATA/pg_wal目录中10之前的版本在$PGDATA/pg_xlog.wal相关参数wal_compression=off如果当全页写成为io瓶颈时，可以设置为on
·2021-08-11 18:19

字节跳动技术总监自爆：微服务架构技术栈

1.消费者与消费组2.客户端开发四、主题与分区1.主题的管理2.初识KafkaAdminCilent3.分区的管理4.如何选择合适的分区数五、日志存储1.文件目录布局2.日志格式的演变3.日志索引4.日志清理
web城会玩·2021-07-30 17:23

docker的日志清理

image.png前言docker启动容器必须有前台输出，为防止这些日志积累，我们需要清理或限制日志文件大小。本文提供了如下几个方案：1）清空日志文件（临时解决方案）2）单个容器限制日志大小3）docker全局限制日志大小1.容器前台日志位置日志位置：/var/lib/docker/containers/container_name/xxxx-json.log查看如下：[root@pre-serv
玄德公笔记·2021-06-24 19:35

python实现磁盘日志清理的示例

一、描述：以module的方式组件python代码，在磁盘文件清理上复用性更好二、达到目标：清空过期日志文件，清理掉超过自定大小日志文件三、原码#!/usr/bin/envpython#-*-coding:utf-8-*-importcommandsimportosimporttimeimportreimportgetoptimportsys#commands.getstatusoutput返回两
·2021-05-10 19:00

自动化运维落实基础及常用工具对比

程序员眼中的自动化运维可能是可以自助申请资源，可以点点点的进行应用发布；应用运维人员眼中的自动化运维可能是自动的监控每个应用的状态有简单的问题就按照约定的动作去自愈，复杂的问题通知给我，我去处理或者是过期的日志清理等
·2021-02-09 16:32

Kafka日志清理

Kafka日志清理目前主要有两种策略：日志删除日志压缩：日志压缩就是根据key来保留最后一条消息。
shysh·2021-01-06 02:07

不看后悔的项目中线程池实际应用

想了想，确实在项目中很多地方使用到了线程池；下面来简单聊下最近在日志方面中多线程的应用：服务接口日志异步线程池化入库处理定时任务中使用多线程进行日志清理本文主线：①、线程池基本原理解读；②、线程池实际应用例子
木子雷·2021-01-04 10:55

复习面试渗透

1)信息收集2）漏洞扫描3）漏洞利用4）权限提升5)日志清理6）总结报告及修复方案什么是SQL注入？SQL注入怎么分类？布尔型注入和延时注入有什么共同点？
战神/calmness·2021-01-04 10:11

不看后悔的项目中线程池实际应用

想了想，确实在项目中很多地方使用到了线程池；下面来简单聊下最近在日志方面中多线程的应用：服务接口日志异步线程池化入库处理定时任务中使用多线程进行日志清理本文主线：①、线程池基本原理解读；②、线程池实际应用例子
木子雷·2020-12-30 15:06

Docker容器日志清理

前言最近发现公司Gitlab服务器磁盘满了，经排查发现是docker容器日志占用了几十个G容量，那么这些日志怎么去查看和清理呢？本节主要讲到的知识点如下：（1）Docker容器日志路径（2）如何清理Docker容器日志（3）如何从根本上解决Docker容器日志占用空间问题Docker容器日志路径cd/&&du-ah--max-depth=1|sort-nr占用空间pingwww.baidu.com
土色无尘·2020-10-06 21:30

elasticsearch 索引清理脚本及常用命令

elastic索引日志清理不及时，很容易产生磁盘紧张，官网给出curl-k-XDELETE可以清理不需要的索引日志。清理脚本#!
钢铁侠的知识库·2020-09-19 00:00

db2 日志清理命令相关

1、归档日志当db2数据库使用归档日志（通过修改参数LOGARCHMETH1可以改成是归档还是循环日志）的时候，日志数量定期不清理，将会越积越多，最后必定会磁盘爆满，访问数据库出问题。归档日志分为三种活动日志、联机存档日志和脱机存档日志。1)活动日志:该日志包含尚未提交或回滚的事务单元的相关信息，以及已提交但尚未写入数据库文件的事务的信息。2)联机存档日志:活动日志中所有改动对正常处理已不需要，即
flypeace·2020-09-17 16:29

【kafka】---kafka的日志清理机制

kafka的消费者们只消费消息，消费后并不是立即清除，那么kafka是怎样进行日志清理？kafka的日志清理机制一般分为两种:日志清除和日志压缩。
DreamBoy_W.W.Y·2020-09-17 08:40

Linux中使用crontab命令启用自定义定时任务

命令启用自定义定时任务pangfc关注0人评论3929人阅读2016-10-1309:31:14一简介Linux下的任务调度分为两类，系统任务调度和用户任务调度系统任务调度：系统需要定期执行的任务，比如重启、日志清理等
爬虫小霸王·2020-09-17 01:52

centos7-nginx 日志清理

centos7-nginx日志清理nginx日志文件需要手动分割；创建脚本文件clear_log.shcd/usr/local/nginx/sbinviclear_log.sh输入如下内容#!
huryer·2020-09-16 11:13

kafka日志清理配置

server.propertieslog.cleanup.policy=delete#清理日志log.retention.hours=1#日志保留1h，1h后删除日志log.segment.bytes=104857600#日志的segment保留100Mlog.retention.check.interval.ms=30000#5分钟检测日志情况
蓝光侠·2020-09-15 23:44

定期处理日志限制日志行数

某个目录日志文件越来越大，定期将日志清理掉，以免撑爆服务器。另外写日志时精简，去掉不必要的日志；limit-log.sh：控制日志的行数，超过就删掉之前的。
noizz·2020-09-14 10:38

MongoDB配置按天存储日志文件

mongodb默认不提供直接按天来输出日志文件的配置，但是提供一个日志清理的命令：logRotate。如果日志不及时清理会导致mongo访问越来越慢，甚至卡死。
羊子雄起·2020-09-12 20:00

Linux crontab 命令的使用

系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。/etc
·2020-09-08 08:45

【MYSQL】手工日志清理

首先可以设置日志的保留策略。即通过参数expire_logs_days=10进行设置（保留多少天）。但手工清理是必需要了解的。一、手工binlog清理1.1当前binlog查看showbinarylogs;1.2清理---清理指定日期之前的日志purgemasterlogsbefore'2018-10-0100:00:00'---清理指定日志以前的日志purgemasterlogsto'mysql
践行见远·2020-08-25 08:37

MYSQL relay_logs 日志清理

情景MySQL数据库主从复制在缺省情况下从库的relaylogs会在SQL线程执行完毕后被自动删除，（默认relay_log_purge=1）但是对于MHA场景下，对于某些滞后从库的恢复依赖于其他从库的relaylog，因此采取禁用自动删除功能以及定期清理的办法,从而避免对于清理过多过大的relaylog需要注意引起的复制延迟资源开销等。MHA可通过purge_relay_logs脚本及配合cro
jerry-89·2020-08-25 06:55

SQL SERVER 2008的错误日志清理

1、点SQLSERVER错误日志，右键，配置，限定错误日志的数目，比如6个2、然后运行命令：EXECsp_cycle_errorlog;这个命令的作用是将当前日志归档，然后新建一个日志。因为日志数量被限制为6，那么只要运行这个步骤若干次，那么老的日志就会被回收了。SQL服务重启一次，也会将日志归档新建，但这个命令不用重启。
wxwstrue·2020-08-25 05:23

清理docker容器的日志大小

Docker容器日志清理date:2019-04-0813:57:401.问题docker容器日志导致主机磁盘空间满了。
weixin_33834075·2020-08-25 05:34

Docker容器日志清理

前言最近发现公司Gitlab服务器磁盘满了，经排查发现是docker容器日志占用了几十个G容量，那么这些日志怎么去查看和清理呢？本节主要讲到的知识点如下：（1）Docker容器日志路径（2）如何清理Docker容器日志（3）如何从根本上解决Docker容器日志占用空间问题Docker容器日志路径在linux上，容器日志一般存放在/var/lib/docker/containers/containe
H_MZ·2020-08-25 05:27

docker 日志清理与设置

清空cat/dev/null>json.logdocker-composenginx:image:nginx:1.12.1restart:alwayslogging:driver:“json-file”options:max-size:“5g”全局设置#vim/etc/docker/daemon.json{"registry-mirrors":["http://f613ce8f.m.daoclou
weixin_30374009·2020-08-25 05:23

日志清理几天前的日志文件

log=/home/hadoop/apache-tomcat-7.0.69/webapps/logDATETIME=`date-d"2dayago""+%Y_%m_%d"`echo$DATETIMEif[`date+%w`-eq1]then>$logfiecho"=========================================">>$logdate>>$logfind/home/
CodingBoy121·2020-08-25 04:44

docker 日志清理

最新发现空间被占用的非常大，经过查询发现是dockercontainer的log多大导致于是想起清理log在linux上，容器日志一般存放在/var/lib/docker/containers/container_id/下面，查看各个日志文件大小的脚本临时清理查找log日志的大小#!/bin/shecho"========dockercontainerslogsfilesize========"l
Lawliet_Wei·2020-08-25 02:30

Docker容器日志清理

docker容器导致主机磁盘空间满了如何清理Docker容器日志？如何找出docker容器日志文件容器日志一般存放在/var/lib/docker下面，可使用如下命令查看各个日志的文件大小ls-lh$(find/var/lib/docker/containers/-name*-json.log)如何清理日志如果docker容器正在运行，那么使用rm-rf方式删除日志后，通过df-h会发现磁盘空间并
程序猿青鸟·2020-08-25 02:49

Docker容器日志清理

全局配置vi/etc/docker/daemon.json{“registry-mirrors”:[“http://hub-mirror.c.163.com”],“log-driver”:“json-file”,“log-opts”:{“max-size”:“500m”,“max-file”:“3”}}#max-size=500m，意味着一个容器日志大小上限是500M，#max-file=3，意味
吴逢生·2020-08-25 02:25

GLC - 实现 glog 日志清理

>>>项目地址github.com/xuri/glc简介GLC(glogcleaner)是Go语言编写的glog日志清理类库，glog是由Google开发的一个应用级日志框架，提供了日志分级、文件切分等功能
weixin_34383618·2020-08-25 02:21

docker 日志清理 记录

感谢司龙提供方法查询docker日志中数据大小别列出来fornamein$(dockerps-a|awk'{print$1}'|grep-vCONTAINER);dodockerinspect$name|grepLogPath|awk'{print$NF}'|tr-d'",'|xargsdu-sh;done清理日志内容echo>/var/lib/docker/containers/d0e33094
Sigod·2020-08-25 02:00

Docker容器日志清理，编写脚本

#!/bin/shecho"====================startcleandockercontainerslogs=========================="logs=$(find/var/lib/docker/containers/-name*-json.log)forlogin$logsdoecho"cleanlogs:$log"cat/dev/null>$logdon
周子青·2020-08-25 01:30

Docker日志清理

1、手动清理方式编写手动清理脚本如下：$>catcleanDockerLog.sh#!/bin/shecho"====================startcleandockercontainerslogs=========================="logs=$(find/var/lib/docker/containers/-name*-json.log)forlogin$logsd
Ellis Tao·2020-08-25 01:10

docker容器日志清理

1.先查看磁盘空间df-h2.找到容器的containerId-json.log文件,并清理(治标不治本，log迟早还会大的)查看各个容器的log文件大小find/var/lib/docker/containers/-name*-json.log|xargsdu-sh执行清理$cat/dev/null>/var/lib/docker/containers/dfe25896671f0def031c5
weixin_30307267·2020-08-25 01:52

docker 容器日志清理方案

本文为转载，原文：docker容器日志清理方案docker容器日志清理方案找出容器日志在linux上，容器日志一般存放在/var/lib/docker/containers/container_id/下面
灰暗角落里的琴·2020-08-25 01:52

Docker容器日志查看与清理

Docker容器日志查看与清理问题解决方法找出Docker容器日志清理Docker容器日志（治标）设置Docker容器日志大小（治本）全局设置参考文章问题docker容器日志导致主机磁盘空间满了。
大锅霍皮久·2020-08-25 01:52

Docker容器日志清理

[如何清理Docker占用的磁盘空间?-DockOne.io](http://dockone.io/article/3056)补充：1.查看docker日志文件，单独列出每个容器的日志文件大小。ls-lh$(find/var/lib/docker/containers/-name*-json.log)2.docker容器所在目录/var/lib/docker3.[docker的/var/lib/d
ruoxiyun·2020-08-25 01:51

Kafka详解（二）：主题与分区、日志存储（KafkaAdminClient、优先副本的选举、分区重分配、日志清理、页缓存、零拷贝）

四、主题与分区1、主题的管理可以通过kafka-topics.sh脚本来执行创建主题、查看主题信息、修改主题和删除主题等操作，这个脚本位于$KAFKA_HOME/bin/目录下1）、创建主题如果broker端配置参数auto.create.topics.enable设置为true（默认值为true），那么当生产者向一个尚未创建的主题发送消息时，会自动创建一个分区数为num.partitions（默
邋遢的流浪剑客·2020-08-24 15:35

使用logrotate完成日志自动切分并轮转

当我第一次有这种需求的时候，最先想到的是crontab脚本定时执行日志清理脚本。就是先编写一个cleanLog.s
赵帅强·2020-08-22 10:49

linux中定期打包日志 — logrotate的用法

在这种情况下，我们需要手动执行日志清理以回收空间，我们可以配置logrotate程序，以便每个日志文件可以在每天、每周、每月或当它变得太大时处理，应该每个项目部署都会用到，这里只是简单记录供参考，logrotate
qin147896325·2020-08-20 20:27

Linux系统实现log日志自动清理保留最近30天日志

因此启用linux系统定时任务去执行日志清理功能。引用文献创建shell脚本及执行权限touchclean.sh//创建脚本文件用vi指令创建好后，需要在里面加上如下内容#!
默然_·2020-08-19 21:56

Linux系统实现log日志自动清理

因此启用linux系统定时任务去执行日志清理功能。引用文献1.创建shell脚本及执行权限touchclean.sh//创建脚本文件用vi指令创建好后，需要在里面加上如下内容#!
默然_·2020-08-19 21:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他