NGINX日志

nginx日志不记录静态文件访问和缓存

nginx访问日志nginx和apache的访问日志一样可以记录的指定信息，如记录服务器时间，访问的客户端ip、访问的url和访问状态码等信息，这些信息会规律的记录到访问日志中主配置文件中定义的日志格式，记录的格式参数解释如下$remote_addr         客户端访问IP(公网IP)$http_x_forwarded_for     记录代理服务器的IP$time_local      
weixin_34102807·2020-08-23 20:15

日志查找访问最多的ip，nginx禁止访问

首先查找nginx日志中访问次数最多的ipcataccess_nginx.log|grep"/send"|awk'{print$(1)}'|sort|uniq-c|sort-k1-n-r|head-100cat
scjzhong·2020-08-23 19:49

nginx访问日志,错误日志参数说明

说明：nginx日志主要有两种：访问日志、错误日志。
寒风问雪·2020-08-23 19:28

ELK+Kafka搭建日志系统

Elasticsearch2.4.2安装Elasticsearch-head(可选)2.4.3安装Logstash2.4.4安装Kibana2.5Nginx代理Kibana3.日志采集3.1收集系统日志3.2收集Nginx
rightlzc·2020-08-23 19:26

简单配置nginx及其抓取请求体相应体

配置nginx及其抓取请求体相应体1、设置nginx日志的输出格式log_formatmain'request:$request|request_body:$request_body|time_is:$
MorganLove·2020-08-23 17:02

shell - sed

按照时间生成文件‘2019.09.08.log'将每天磁盘使用装填写入到对应日期的文件df-h>$(date+%F)_log统计Nginx日志中每个IP的访问量有多少，日志如下：awk'{ips[$i]
bairang7304·2020-08-23 09:21

Kafka史上最详细原理总结

基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx
_宇宙浪子_·2020-08-23 01:20

shell统计nginx日志中sql及php攻击

###shell统计nginx日志中的thinkphp攻击###sql攻击类似，可按此原理进行处理#统计当天#!
wnw001·2020-08-22 23:55

hive-1

##后台nginx日志mpi-web报表生成usebi;##set($suffix="${env.YYYY}${env.MM}${env.DD}");##今日临时表创建droptableifexistsdpstg_mpi_nginx_log_today
小笨鸟赶快飞呀·2020-08-22 22:26

Spring Boot教程十二：集成Kafka

基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx
wang_shuyu·2020-08-22 14:59

接口报错doesn't work properly without JavaScript

解决方式：在我们项目中存在守护进程日志和nginx日志，清掉日志。重新
宁静之峰·2020-08-22 11:16

56.shell while实践③

/usr/bin/bashDate=$(date+%F)Path=/backup/log[-d$Path]||mkdir-p$Pathdf-h>>$Path/$Date.log2.统计Nginx日志中每个
寻花之梦~~·2020-08-21 18:58

nginx日志文件切割备份脚本

#!/bin/bash#需要拆分的文件fn=$1echo"传入文件=====>>>"$fn">>"$fname">>"$fpath">>"$logbackfolder">>"$maxsize">>"$maxsize"$maxsize"mv$fn$logbackfolder/$fnamekill-USR1`cat$fpath/nginx.pid`elseecho"$filesize<$maxsize
tajiandong·2020-08-21 17:23

使用GoAccess分析Nginx日志以及sed/awk手动分析实践

前言使用Nginx的网站可能会遇到访问流量异常、被友情检测、程序出现Bug等各种突然情况，这时大家的反应想必都是第一时间分析日志，然后发现日志有几十GB之多，又需要按照时间、错误类型或者关键字段检索信息时会不会有种醍醐灌顶、菊花一紧的错觉。文中介绍的方法不管是GoAccess还是sed/awk虽然可以解决一时的问题但未必能够治本，也许ELK(Logstash+ElasticSearch+Kiban
王奥OX·2020-08-21 07:05

awk的应用

格式化nginx日志输出BEGIN{FIELDWIDTHS=100printf"%-5s%30-s%18-s%3-s%30-s%30-s\n","行号","服务器域名","服务器IP","请求接口","
哈基石·2020-08-21 02:51

awk的应用

格式化nginx日志输出BEGIN{FIELDWIDTHS=100printf"%-5s%30-s%18-s%3-s%30-s%30-s\n","行号","服务器域名","服务器IP","请求接口","
哈基石·2020-08-21 01:09

zabbix自定义监控，统计nginx服务器的pv uv

近期搭建了一套zabbix监控系统，搭建完成后，需要进行业务监控，举例一个通过nginx日志来统计pvuv例子来进行自定义监控总结主要思路如下：第一步：确认统计pvuv的方式，在nginx的日志里，我通过每行日志里的
wuxu_nanjing·2020-08-20 20:18

shell + go + mysql nginx日志统计 （一） ：日志切割

！注意！go程序慎用！在开始之前，想说一句慎用于自动执行。事实上我现在也只用在一些特别需要地方，大部分时候我是手动去执行这个go程序，作者是个三流运维写的代码更是野路子。为什么做这个？有ELK这种神器，为什么还要自己弄。实际上还是因为穷，连线上都只能单机提供服务地方要长期运行一个叫ELK的东西不管对于磁盘IO还是内存都是一大挑战（阿里云贵呀）。所以大部分的东西都放到线下来做统计，当然不是时时的。统
运维小吴·2020-08-20 20:24

基于awk的nginx日志分析

基于awk的nginx日志分析基于awk的nginx日志分析定义nginx日志awk分析示例基于awk的nginx日志分析在系统调优的时候，经常要去分析nginx的请求日志，统计、分析各个时间段的请求量
云--泥·2020-08-20 19:16

CentOS7.5中编译安装nginx-1.12.2

1说明本文档以吉林考试项目为例，采用编译方式来安装部署nginx2目录规划nginx版本nginx源码包存放录nginx安装目录nginx存放代码目录nginx日志目录nginx-1.12.2nginx
weixin_34101784·2020-08-20 19:51

linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计

通过对awk,wc,uniq,grep,sort等命令的组合，分析nginx的access和error日志。统计各种总量、单位时间量。access.log日志格式(见下图）说明：a).按照Tab键拆分每项数据b).字段含义（如下说明）column1：ip_addresscolumn2：log_timecolumn3：requestcolumn4：status_codecolumn5：send_by
lylee1981·2020-08-20 16:14

避免url使用加号"+"

排查查看nginx日志，发现在nginx获取时候已经是“”，于是排除服务端代码问题。经过谷歌，原来url的“+”号，在url解析时候会变成“”。
Star--Zhang·2020-08-20 15:26

Nginx反爬虫攻略：禁止某些User Agent抓取网站

最近发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法
slovyz·2020-08-20 01:20

工作中用到的知识点--tomcat开机启动配置和nginx日志切割

----centos7中设置tomcat开机启动在/opt/apache-tomcat-6.0.36/bin/中配置setenv.sh文件touchsetenv.shvimsetenv.sh#addtomcatpidCATALINA_PID="$CATALINA_BASE/tomcat.pid"在cd/usr/lib/systemd/system中配置tomcat开机启动服务cd/usr/lib/
-jack-·2020-08-20 00:27

Grafana分析Nginx日志

配置Groubby-Terms时报错，提示需要设置fielddata=true，报错内容大概如下："Fielddataisdisabledontextfieldsbydefault..."解决方法如下：https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#_fielddata_is_disabl
weixin_34379433·2020-08-19 21:09

ubuntukylin-16.04 安装nginx

nginxsudoapt-getinstallnginxnginx安装之后的文件结构大致为：所有的配置文件都在/etc/nginx下，并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/nginx
老蒋的程序人生·2020-08-19 07:13

Linux下对文件进行去重计数以及排序

实践一最近需要对nginx日志文件进行统计，几十个文件，加起来上千万行的记录，用代码写就有点太那啥了，还占内存，所以决定使用linux命令来实现。
zombres·2020-08-19 00:59

Logstash 原理分析/配置文件详解 时间 日期 时区 ip 反斜杠 grok在线地址 类型转换

服务器上面去Logstash配置，监听5044端口，接收Filebeat发送过来的日志，然后利用grok对日志过滤，根据不同的日志设置不同的type，并将日志存储到Elasticsearch集群上面项目日志跟nginx
浮生丶丶·2020-08-18 19:21

nginx统计访问量最高的ip并封禁IP

1、查服务器所有访问者ip方法：命令统计apache或nginx日志中访问最多的100个ip及访问次数，这个在以前做日志统计的时候经常用到awk'{print$1}'nginx访问日志文件所在路径|sort
weixin_33826609·2020-08-18 17:16

通过shell实现分析nginx日志，自动封单个IP访问量大于指定值的国外IP

个人博客原文：http://www.lampnick.com/php/6621.在nginx的nginx.conf中http段或者server段中引入拒绝访问的IP列表include/usr/local/nginx/conf/blockip/*/*/*.conf;2.写shell脚本实现分析访问日志，将国外IP写入到拒绝访问的IP列表#!/bin/bash#当单个IP访问量大于这个值得时候，封IP
lampNick·2020-08-18 16:08

nginx 配置SSL反向代理配置

服务设置代理服务器真实访问服务器192.168.31.10192.168.31.5server1server2配置日志设置（nginx日志展示设置server1&&server2）http{log_formatmain
hanye韩也·2020-08-18 13:23

shell 脚本通过nginx日志封访问频率过高的IP

#/bin/bash#日志文件logfile=/usr/local/tengine/logslast_minutes=1#开始时间start_time=`date-d"$last_minutesminutesago"+"%H:%M:%S"`echo$start_time#结束时间stop_time=`date+"%H:%M:%S"`echo$stop_time#过滤出单位之间内的日志并统计最高ip
云溪111·2020-08-18 13:42

统计nginx日志单IP访问请求数排名

日志信息127.0.0.1--[20/Jan/2015:10:54:02+0800]"GET/HTTP/1.1"20020808"-""Mozilla/5.0(X11;Ubuntu;Linuxx86_64;rv:31.0)Gecko/20100101Firefox/31.0"127.0.0.1--[20/Jan/2015:10:54:03+0800]"GET/favicon.icoHTTP/1.1
Phoebus888·2020-08-18 12:03

Kafka消息生成，消费，存储机制

>>>Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志
weixin_34161083·2020-08-18 12:23

nginx一段时间内的访问量统计

下面两个命令，我们可以了解应用系统的大致运行情况，并发数量1,统计nginx日志红9-11点，每分钟访问量，日志输出数量，从大到小排序当然没有去重，但可以大致了解每分钟的并发情况：sudosed-n'/
cfyme·2020-08-18 10:23

Kafka安装部署，快速入门

配置4.2启动服务5测试6问题解决1简介它最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx
叶梦_·2020-08-18 10:29

linux环境下使用logrotate工具实现nginx日志切割

一.前提背景及需求nginx运行日志默认保存在nginx安装目录下的/usr/local/nginx/logs文件夹,包含access.log和error.log两个文件.(1)access.log记录了哪些用户、哪些页面以及用户浏览器、ip和其他的访问信息；(2)error.log则是记录服务器错误日志.在所有时间内nginx产生的日志均保存在同一个文件下,随着访问量的增加,尤其是access.
sufaith_dev·2020-08-17 16:47

使用logrotate管理日志

很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate。logrotate是个十分有用的工具，它可以自动对日志进
weixin_34406061·2020-08-17 16:48

使用logrotate管理nginx日志文件

下面以nginx日志文件来讲解下logrotate的用法。配置：1、在/etc/logrotate.d目录下创建一个nginx的配置文件"nginx"配置内容如下#vim/etc/logro
DragonWar%·2020-08-17 16:54

rsyslog收集nginx日志配置

rsyslog日志收集配置rsyslog服务器收集各服务器的日志，并汇总，再由logstash处理请查看上一篇文章http://bbotte.blog.51cto.com/6205307/1613571客户端/发送端web服务器# yum install rsyslog -y# vim /etc/rsyslog.conf*.* @192.168.10.1:514# vim /etc/bashrc 
George_Fal·2020-08-17 16:16

logrotate配置nginx日志切割

nginx默认的切割日志方式感觉不大好，现在介绍下如何实现每天23：59时按天切割日志。ogrotate是linux系统用来分割日志的系统工具，可以方便将日志按周期（日，周，月）和大小进行分割。当我们的服务器访问量比较大时，服务器的access.log可能会G/天的级别增长，而我们希望日志可以按天周月或当日志文件大小达到某个限额时进行分割。logrotate工具/etc/logrotate.con
weixin_30614109·2020-08-17 16:15

nginx日志 logrotate配置

nginx日志logrotate配置如下：/var/log/nginx/*.log{dailymissingokrotate20compressdelaycompressnotifemptycreate664appopsneteasesharedscriptspostrotateif
weixin_30300523·2020-08-17 15:18

nginx配置生成json格式

Nginx日志默认为普通文本的格式，例如，下面是Nginx的一行访问日志：10.88.122.105--[02/Dec/2017:09:15:04+0800]"GET/js/pagination.jsHTTP
wchbest·2020-08-17 15:08

使用logrotate配置Nginx日志轮替

2019独角兽企业重金招聘Python工程师标准>>>使用logrotate配置Nginx日志轮替Nginx作为HTTP服务器，每天记录的日志很多，如果不善加管理，没用多久就会把磁盘充满。
weixin_34054931·2020-08-17 11:02

Kafka文件存储机制那些事

Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志
美团技术团队·2020-08-17 08:18

thinkphp 5.0 index.php被替换成首页内容，被注入恶意代码

后来查看了nginx日志。日志在/home/wwwlogs/域名.log发现了某个上传图片的目录下，竟然有.php文件。
weixin_34150224·2020-08-16 21:39

nginx日志增加cookie信息

一、获取全部cookie信息这个比较方便，直接在nginx.conf文件中添加$http_cookie?123456log_formatmain'[$time_local]-$remote_addr:$remote_port-$remote_user-$upstream_addr$upstream_status$upstream_response_time-''"$request"$status$
首席撩妹指导官·2020-08-16 11:02

Nginx修改日志格式 日志分析 字段分离 ES数据格式的转换及nginx日志参数详解

需求背景：小组内需要做一些日志分析工作，但生产环境的日志不包含请求时间数据，但是直接修改生产配置影响太大，所以只能增加一个nginx日志格式同时产生两种日志并分开存储，之后通过firebeat做字段分离并将其传输到
一百万·2020-08-16 03:49

linux下shell处理nginx日志自动生成ip黑名单

#shell脚本处理nginx日志自动生成ip黑名单##统计访问量前10名的ip并写入文件#!
wnw001·2020-08-16 03:42

网页突然报502 bad gateway，平台宕掉

脑子里面第一反应就是nginx挂了，然后看服务器上nginx进程，发现运行正常，去看nginx日志也没有发现任何问题马上网上搜了下，对502badgateway的错误判断基本都是：说明服务器没有响应，也就是我们的
石硕页·2020-08-16 02:42
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他