E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
日志清理
05-linux日志管理-04-journalctl 命令(查询、
日志清理
、大小限制)
文章目录1.日志查询1.1输出所有日志1.2按服务查询1.3按级别查询1.4按时间查询1.5其他2.清理和限制2.1查看占据磁盘空间2.2清理日志2.3限制大小-文件示例-说明1.日志查询1.1输出所有日志journalctl日志如滔滔江水连绵不绝~~找不到目标也就并没有什么意义,所以要加一下条件,如下。1.2按服务查询方法一[root@pre-iotjournal]#journalctl_SYS
玄德公笔记
·
2023-10-15 01:07
linux运维基础
linux
日志管理
journalctl
大小限制
日志清理
nginx的优化和防盗链(重点)
一旦版本号暴露出去,有可能给对方提供攻击的漏洞1、在http大模块中修改2、修改nginx.h源码包(二)nginx的日志分割1、由于nginx没有自带的日志分割功能,靠运维人员通过脚本实现日志分割2、
日志清理
原则
海德Hyde
·
2023-10-13 18:49
nginx
服务器
运维
利用ansible cron进行服务器定时
日志清理
方案:创建定时清理日志脚本,通过find命令删除7天以外的日志文件,然后通过ansible分发到各个服务器进行定时执行vim/data/script/clean_log.shfunctioncleanLog(){path=$1name=$2if[-d$path];thenecho"清理$path路径下的$name日志"find$path-mtime+7-name"$name"-deleteelse
Java小田
·
2023-10-13 05:45
备忘
日志清理
ansible
谁动了我的代码
问题背景新接手一项目,需要对
日志清理
文件进行修改。开开心心的修改完成之后脚本正常运行,再确认发现脚本内容已经回滚。本以为是被人误修改于是查询/var/log/secure无果。
gsp412
·
2023-10-06 06:09
linux内核探秘 脚本之家,shell脚本专题(01):探秘脚本首行
本专题将结合运维实际介绍shell脚本的各项用法,预计10篇左右,将包括系统巡检、监控、ftp上传下载、数据库查询、
日志清理
、时钟同步、定时任务
穿时念
·
2023-10-05 15:47
linux内核探秘
脚本之家
GLC - 实现 glog
日志清理
项目地址github.com/xuri/glc简介GLC(glogcleaner)是Go语言编写的glog
日志清理
类库,glog是由Google开发的一个应用级日志框架,提供了日志分级、文件切分等功能,
xurime
·
2023-09-30 01:20
Golang
Go语言编程
GitHub
语言
日志
谷歌
开源
golang
深入了解 Cron 时间字段:定时任务的精确控制
Cron允许用户自动化各种重复性任务,如备份、系统监控、
日志清理
等。在cron中,时间的设定是至关重要的,它使用一些特殊的时间字段来确定任务的执行时机。本文将深入探讨常见的cron时间字段及其用途。
轩辕龙儿
·
2023-09-15 17:33
Linux
linux
服务器
运维
zk自动清理日志
在这4种方法中,推荐使用第一种方法,对于运维人员来说,将
日志清理
工作独立出来,便于统一管理也更可控。
雨读千年
·
2023-09-12 21:01
2.2 Shell 脚本编写和批量操作
Shell脚本基础Shell脚本的概念和基本语法变量和数据类型条件语句和循环结构函数的定义和使用脚本编写实例编写简单的脚本:批量创建文件和目录实现系统监控:自动化检查和报警执行常见的系统维护任务:备份和
日志清理
脚本优化和最佳实践使用脚本进行批量操作用户管理文件批量处理自动化运维任务与配置管理工具的集成实践案例未来展望自动化的核心基
(~ ̄▽ ̄)~凤凰涅槃
·
2023-09-03 21:40
#
运维架构师之路
运维专栏
bash
达梦主备重启与归档清理
达梦主备重启与归档清理检查数据库角色主备库重启归档
日志清理
检查数据库角色--mode$显示Primary为主库selectname,instance_name,status$,mode$fromv$instance
GottdesKrieges
·
2023-09-02 17:22
国产数据库
数据库
sql
【PostgreSQL的xlog/Wal归档及
日志清理
】
xlog/wal日志类似于Oracle的redo,PostgreSQL的redo文件被称为WAL文件或XLOG文件,存放在PGDATA/pg_xlog或(PGDATA/pg_wal)目录中(Postgresql从10版本开始,将所用xlog相关的全部用wal替换了)。任何试图修改数据库数据的操作都会写一份日志到磁盘。本文举例的数据库版本为(PostgreSQL)11.5wal命名格式文件名称为16
小怪兽ysl
·
2023-08-25 13:36
PostgreSQL
postgresql
数据库
linux
运维
SQL Server
日志清理
因为数据量较大,对数据库表操作比较多,日志的模式,又是完全模式,所以会产生较大的日志文件,那么怎么清理呢下面给大家介绍3种方式:1、执⾏SQL命令先查询日志中文件名和大小USE数据库名GOSELECTfile_id,name,size,*FROMsys.database_files;可以看到其中name字段为数据库日志名称"数据库日志名称",size是日志大小。接下来就可以执行清理日志操作。值得注
独木人生
·
2023-08-17 15:23
sqlserver
sqlserver
数据库
蓝鲸社区版接入zabbix磁盘告警实现
日志清理
的故障自愈示例
一.整体收益实现自动化清理应用日志,减少运维人工清理操作,在一定程度上提高了系统可用性和稳定性,同时提高运维效率和节约了运维成本。二.之前的故障处理模式我们的应用服务器每天都产生很多日志,凌晨定时清理半年以前的日志,zabbix设置报警阈值20%和10%,低于阈值就需要登陆服务器,进入指定日志目录,查找最早的文件,再进行人工清理日志,花费时间至少要15分钟。ll-ht#查找最早文件rm-frfil
faint4
·
2023-08-11 20:47
linux定时任务
一、简介Linux下的任务调度分为两类,系统任务调度和用户任务调度系统任务调度:系统需要定期执行的任务,比如重启、
日志清理
等,其配置文件是:/etc/crontab用户任务调度:某个用户需要定期执行的任务
Chilkings
·
2023-08-04 22:28
处理nacos、tomcat、nginx日志增长过快问题
1.nacos
日志清理
修改nacos-logback.xml将日志级别改为error级,减少info级日志产生量将调整为2以下,将调整为2GB左右比如:[root@iZ0jlapur4hqjezy8waee0Zlogs
梓沂
·
2023-08-03 20:57
tomcat
nginx
java
CDH集群
日志清理
一.查看磁盘占用情况df-h二.查看日志占用情况1.1cdh的各组件的日志一般在/var/log目录下(最好前面加上/data),因此主要关注“/”查看/data/var/log下使用空间较大的文件夹,并由大到小排列cd/data/var/log/du-s./*|sort-nr1.2还有一个是ClouderaManagementService服务产生的日志,存在/var/lib/...cd/dat
csdn-延
·
2023-08-03 20:52
数仓
大数据
linux
java
linux
cdh
大数据
清理日志
Kafka系列之:
日志清理
Kafka系列之:
日志清理
一、
日志清理
二、日志删除三、基于时间的日志删除四、基于日志大小的日志删除五、基于日志起始偏移量一、
日志清理
Kafka将消息存储在磁盘中,为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作
最笨的羊羊
·
2023-08-02 08:48
日常分享专栏
Kafka
Kafka系列
日志清理
ES日志索引清除
##ES
日志清理
##source/etc/profile#停服可按实际情况决定,因fil
派大星的头脑
·
2023-07-30 17:18
运维常用的shell脚本
elasticsearch
大数据
搜索引擎
运维
kafka
日志清理
机制详解
说到kafka的
日志清理
策略,就会涉及到配置项cleanup.policy,在brokerserver端配置项是log.cleanup.policy,在topic级别则是cleanup.policy。
sf_www
·
2023-07-28 03:54
Kafka
大数据
kafka
kafka 3.0 日志定时清理(源码)
文章目录1、定时任务入口2、LopManager(这个是日志抽象层,实际逻辑不在这里)(1)把
日志清理
加入定时任务中3、清理符合条件的日志(1)deletableSegments(把需要删除的segment
胖墩的IT
·
2023-07-20 07:58
#
kafka
kafka
又卡了,大数据平台容器化运维走起
文章目录一、背景二、方案总结三、方案实施3.0转移数据修改docker默认存储位置3.1手动清理3.2定时容器
日志清理
3.3限制Docker容器日志大小大家好,我是脚丫先生(o^^o)大数据基础平台的搭建
大数据指北
·
2023-07-17 22:12
#
---
大数据运维
大数据
运维
kafka在window环境下频繁退出服务
kafka在window环境下频繁退出服务原因报错解决方案原因kafka
日志清理
策略触发,在window环境下,在打开需要清理的日志的同时,对该文件进行重命名操作是不被允许的(linux环境下可以),从而导致
LY笔记
·
2023-07-16 23:58
kafka
linux
docker
BI-SQL丨
日志清理
日志清理
在使用SQLServer的过程中,随着时间的变化,后台日志文件的体量也是在不断增加的。这样会使得数据库的性能下降,并且占用大量的磁盘空间。
PowerBI丨白茶
·
2023-07-16 08:30
PowerBI丨SQL
sql
数据库
Kafka
日志清理
过程
总所周知,kafka将topic分成不同的partitions,每个partition的日志分成不同的segments,最后以segment为单位将陈旧的日志从文件系统删除,本文由javacoder.cn整理,转载请注明出处。假设kafka的日志目录为tmp/kafka-logs,对于名为test_perf的topic。假设两个partitions,那么我们可以在tmp/kafka-logs目录下
yjh314
·
2023-07-15 14:41
kafka
db2
日志清理
_DB2自调整内存管理器日志解析器
db2
日志清理
重要:在阅读本文之前,请阅读免责声明。启用后,内存调谐器会在几个内存使用者之间动态分配可用的内存资源,包括排序堆,程序包缓存,锁列表和缓冲池。
cuxiong8996
·
2023-06-22 15:50
数据库
python
linux
java
大数据
rabbitmq
日志清理
rabbitmq.conf rabbitmq 日志问题
写这篇文章目的在于,网上很少有关于rabbitmq日志级别调整以及某一天突然发现线上rabbitmq日志把磁盘占满了无法建立链接当前我的rabbitmq安装目录为:/usr/local/rabbitmq/1、临时解决方案切换到安装目录下的var/log/rabbitmq创建一个日志文件名的new文件#
[email protected]
文件名存在差异
[email protected]
@one
hncdyj
·
2023-06-08 14:40
技术学习
rabbitmq
分布式
linux磁盘满了
最终确定比较耗磁盘的是日志、docker容器-镜像
日志清理
就不用说了清理journal日志如果你发现/var/log/journal是这个文件夹比较大那么久需要配置一下journal的日志/etc/systemd
小狐记忆
·
2023-06-08 03:49
五、Kafka日志存储
目录1.文件目录布局2.日志格式的演变2.1v0版本2.2v1版本2.3消息压缩2.4字段变长2.5v2版本3.日志索引3.1偏移量索引3.2时间戳索引4.
日志清理
4.1日志删除4.2日志压缩1.文件目录布局
流年ln
·
2023-06-08 03:48
kafka
kafka
分布式
java
Docker容器日志占用空间过大问题及解决
目录Docker容器日志占用空间过大问题问题解决方法Docker容器
日志清理
使用docker-compose.yml文件部署,针对单一容器进行限制修改docker配置文件,全局生效总结Docker容器日志占用空间过大问题问题
·
2023-06-06 21:11
Log4j 2 rollover 过程源码分析
前言近日工作中发现应用容器的磁盘空间打满,执行完
日志清理
后磁盘空间依然无法释放。怀疑有文件只是释放了链接,但是没有实际删除。
kerwinX
·
2023-04-10 16:21
Zookeeper
日志清理
周末的时候在家收到了工作的告警通知,远程登录后发现是自运维的CK集群硬盘空间不足,通过命令查看各个目录的大小,确定是Zookeeper的日志及snapshot占用了绝大部分空间。Zookeeper主要存放了两类文件,snapshot和log,前者是内存数据的快照,后者是记录修改数据相关的操作记录,类似于mysql的binlog。正常的运行过程中,zk会不断的将快照数据和日志记录输出到这两个目录,并
风筝flying
·
2023-04-08 08:02
自动化运维落实基础及常用工具对比
程序员眼中的自动化运维可能是可以自助申请资源,可以点点点的进行应用发布;应用运维人员眼中的自动化运维可能是自动的监控每个应用的状态有简单的问题就按照约定的动作去自愈,复杂的问题通知给我,我去处理或者是过期的
日志清理
等
同创永益
·
2023-04-02 16:23
运维
运维开发
Kafka(三)、Kafka架构
Kafka基本介绍1.1什么是Kafka1.2Kafka特性1.3常见应用场景二、Kafka系统架构2.1基本概念2.2index/timeindex/log文件2.3Kafka高效文件存储设计特点三、
日志清理
策略
普通人zzz~
·
2023-03-30 13:39
#
消息中间件
kafka
架构
分布式
Oracle目录应急清理
Oracle目录应急清理清理错误位置的归档
日志清理
30天前的监听告警
日志清理
监听
日志清理
30天以前的trace文件清理30天以前的审计
日志清理
错误位置的归档日志检查$ORACLE_HOME/dbs下是否有归档文件
GottdesKrieges
·
2023-03-27 00:25
Oracle
oracle
数据库
linux
linux
日志清理
由于ubuntu日志文件syslog和kern.log时刻在增长,一会儿就使得根目录文件夹不够用了,需使用如下命令清理sudo-i然后输入密码,执行:echo>/var/log/syslogecho>/var/log/kern.log就可以了.打开日志文件夹:cd/var/log,输入du-sh可以查看占用的磁盘空间(du-h--max-depth=1/var/log/*)输入du-sm查看文件总
lzjngu
·
2023-03-19 10:41
XXL-JOB日常实用进阶,包括分片任务,阻塞处理策略,路由策略,运行模式
主要包括XXL-JOB
日志清理
,包括分片广播任务,阻塞处理策略,路由策略,运行模式,创建子任务如果查看XXL-JOB基本使用和整合SpringBoot,请参考我另一篇文章:XXL-JOB基本配置使用导语
运气爆棚1368
·
2023-03-14 04:41
Docker容器日志查看和清理的图文教程
目录问题:日志查找:
日志清理
:1、最简单的方式当然就是删除掉。2、设置Docker容器日志大小方法二总结问题:docker容器日志随着时间变得越来越大。本来分的200G磁盘空间迅速不太够用。
·
2023-02-27 18:12
clickhouse系统表
日志清理
方式详解
目录简介清理清理方式实际操作方案选择删除数据查看任务执行情况单机操作设置TTL总结简介clickhouse会将查询日志,度量日志和堆栈采集日志记录下来,存储到自身数据库的system库中,分别是query_log,query_thread_log,trace_log,metric_log等5个表,如果长时间不清查,该表数据会一直累积。清理清理方式清理这些日志表有多种方式第1种是设置表的TTL,cl
·
2023-02-16 20:01
linux磁盘占用满了,docker
日志清理
磁盘分析命令:df-h查看当前文件夹所有文件大小:du-sh*查看docker各容器占用的磁盘空间du-d1-h/var/lib/docker/containers|sort-hdocker日志文件:containers哈希名加后缀-json.log清空日志命令,如:cat/dev/null>/var/lib/docker/containers/`container_id`/`container_
秋叶原の黑猫
·
2023-02-05 10:51
linux
docker
linux
运维
内网渗透-Windows&Linux痕迹清除
Windows&Linux痕迹清除文章目录Windows&Linux痕迹清除前言Windows痕迹清除Windows
日志清理
meterpreter清理日志Linux痕迹清除后记前言当我们进行内网一系列的渗透之后
炫彩@之星
·
2022-09-29 08:22
内网渗透
安全性测试
web安全
安全
排查服务器异常流量教程详解
目录引言磁盘使用率报警原因分析解决方案1.日志迁移或清理2.
日志清理
网站流量异常,一直在报警通过分析日志排查异常流量首先切换到日志目录,比如我的目录是查看访问最频繁的前10个IP分析结果:解决异常流量公网
·
2022-08-16 16:47
MySQL 高级篇 -- 数据库日志
4.2查看日志4.2.1showbinlogevents4.2.2mysqlbinlog4.3使用日志恢复数据4.4写入机制4.5两阶段提交4.6GTID五、中继日志(relaylog)六、日志管理6.1
日志清理
L小Ray想有腮
·
2022-08-09 19:12
MySQL
数据库
kafka之二kafka日志管理
本文主要内容有:日志管理相关实现类日志刷盘
日志清理
日志管理相关实现类kafka的日志管理是通过LogManager类实现的,它的主要作用是日志的创建、检索、清理。
·
2022-07-28 17:36
kafka消息队列
[Zookeeper-3.6.2源码解析系列]-9-
日志清理
定时任务的启动
9-
日志清理
定时任务的启动9.1简介前面我们说了程序刚刚启动时候会去加载配置信息,配置信息加载完毕之后将会启动一个清理日志的工具(这个工具非常有用)接下来详细看下:QuorumPeerMain的初始化和启动方法
宋小生的博客
·
2022-05-22 15:21
Zookeeper
zookeeper
java
分布式
深入理解Kafka核心设计及原理(五):消息存储
转载请注明出处:https://www.cnblogs.com/zjdxr-up/p/16127749.html目录:5.1文件目录布局5.2消息压缩5.3日志索引5.4日志文件及索引文件分段触发条件5.5
日志清理
香吧香
·
2022-04-10 21:00
kafka存储结构以及Log清理机制
本文主要聚焦kafka的日志存储以及
日志清理
相关。日志存储结构首先我们来看一张kafak的存储结构图。
坨坨的大数据
·
2021-12-17 09:42
Mysql空间清理的几种具体方法
目录前言1.查看文件磁盘占用1.1查看磁盘空间占用1.2查看目录空间占用2.Binlog
日志清理
2.1.定时自动清理Binlog日志2.2手动删除Binlog日志2.3.Slow
日志清理
2.4.Error
·
2021-09-24 02:02
kafka
日志清理
引发的core dump问题
原文链接:http://fxbing.github.io/2021/...团队开发了kafkaonhdfs的功能,用以将kafka数据存储在hdfs上,但是在使用的过程中发现,有机器出现coredump现象。本文基于kafka版本0.10.2排查过程一、排查coredump文件由于出现了多次coredump问题,所以首先需要从coredump文件中进行分析。从coredump文件可以看出,以下几个
·
2021-08-15 20:22
kafkajavajdk
腾讯云TDSQL PostgreSQL WAL
日志清理
作者崔鹏,曾获得中国PostgreSQL数据库管理高级工程师(PGCM),是PostgreSQL官方认证讲师,Mysql5.7/8.0OCP,Oracle11gOCM。WAL是WriteAheadLog的简写,10版本以后在$PGDATA/pg_wal目录中10之前的版本在$PGDATA/pg_xlog.wal相关参数wal_compression=off如果当全页写成为io瓶颈时,可以设置为on
·
2021-08-11 18:19
数据库
字节跳动技术总监自爆:微服务架构技术栈
1.消费者与消费组2.客户端开发四、主题与分区1.主题的管理2.初识KafkaAdminCilent3.分区的管理4.如何选择合适的分区数五、日志存储1.文件目录布局2.日志格式的演变3.日志索引4.
日志清理
web城会玩
·
2021-07-30 17:23
程序员
面试
后端
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他