NGINX日志

python切割nginx日志脚本

#!/usr/bin/envpython#-*-coding:utf-8-*-#Pythonnginxcutlog1importsubprocessdefmkdir():    subprocess.call('mkdir-pv/usr/local/nginx/logs/$(date-d"yesterday"+"%Y")/$(date-d"yesterday"+"%m")/',shell=True
aaron428·2016-02-10 23:44

被遗忘的Logrotate

我发现很多人的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！
boy461205160·2016-02-05 17:29

Nginx 訪问日志增长暴增出现尖刀的具体分析

前言：        Nginx日志里面Mobileweb_access.log增长特别大。一天上百兆。将近100W的訪问记录。依照我们眼下的规模，热点用户才500个左右。
phlsheji·2016-02-04 17:00

nginx(tengine)的一些小优化(持续更新)

1、nginx日志切割脚本需求来源：nginx本身并没有日志切割的功能，由访问产生的大日志很难进行分析。实现目的：每天对nginx日志进行切割，并备份至指定文件夹。 
黑漆茶壶·2016-02-02 19:39

Nginx之日志切割

nginx日志默认情况下统统写入到一个文件中，文件会变的越来越大，非常不方便查看分析。以日期来作为日志的切割是比较好的，通常我们是以每日来做统计的。下面来说说nginx日志切割。
qq_14996421·2016-01-30 13:00

nginx日志通过rsyslog传入到日志服务器指定目录

V5配置语法：推送端设置[root@nginx01~]#cat/etc/rsyslog.conf#rsyslogv5configurationfile#Formoreinformationsee/usr/share/doc/rsyslog-*/rsyslog_conf.html#Ifyouexperienceproblems,seehttp://www.rsyslog.com/doc/troubl
郭雨明暄·2016-01-24 19:45

nginx日志通过rsyslog传入到日志服务器指定目录

V5配置语法：推送端设置[root@nginx01~]#cat/etc/rsyslog.conf                                                                             #rsyslogv5configurationfile #Formoreinformationsee/usr/share/doc/rsyslog-*/
郭雨明暄·2016-01-24 19:45

nginx日志访问切割

 原文：http://hello-nick-xu.iteye.com/blog/2090586 http://hello-nick-xu.iteye.com/blog/2102667      在真实的Nginx实践过程中，我们通常都会对Nginx的访问日志进行切割，即按照一定的周期生成一个独立的Nginx访问日志文件，以避免存在文件体积过于庞大的日志文件。一方面有助于实际的错误排查，更重要的是有
yjph83·2016-01-21 23:00

kafka存储机制

Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志
张欢19933·2016-01-21 17:00

Python 学习之路（二）

Nginx日志切割python脚本，其实也是为了学习将自己写的shell脚本都变成python脚本，nginx日志切割的python脚本就诞生了，好多身边的python大牛都说我蛋疼，shell几行完事
ICEMintChocolate·2016-01-21 15:01

使用 Heka 导入自定义的nginx日志到Elasticsearch

重置Heka执行进度heka的进度配置文件存在配置项base_dir设置的目录，只需要删除这个文件夹下面的内容，就可以完全重置heka的进度。base_dir配置项默认是在下面目录：‘/var/cache/hekad’ 或‘c:\var\cache\hekad’参考：http://hekad.readthedocs.org/en/latest/getting_started.html#global
蝈蝈俊·2016-01-20 14:00

nginx日志分析

日志格式log_formataccess'$remote_addr-$remote_user[$time_local]"$request"' '$status$body_bytes_sent"$http_referer"' '"$http_user_agent""$http_x_forwarded_for"'; 1、查看某个时间段的日志awk'$4>="[15/Jan/2016:19:30:0
metasequoia·2016-01-20 10:00

nginx信号（可以处理nginx日志分隔，nginx重启，nginx重新载入配置文件）

nginx在切割日志的时候，如果只是简单的rm文件或者将文件改名，nginx是不会创建新的文件去写入日志的，如果是改名的话，日志会写入改名后的文件里，这个时候就需要我们发送信号告诉nginx将日志写入新的文件里kill-USR1nginx的pid即可或者kill-USR1`catnginx的pid文件`如果要重新载入配置文件kill-HUP  nginx的pid即可或者kill-HUP`catng
lm5463·2016-01-19 16:04

nginx日志切割（文件数特别多的情况下）

#!/bin/bashexportYESTERDAY=$(date-d"yesterday"+%Y-%m-%d)[-d/var/log/nginx]&&exportLOG_PATH=/var/log/nginxlog_exc(){mv$filename$LOG_PATH/$YESTERDAY.$filename}log_files=`ll/var/log/*.log|awk-F/'{print$N
Leon_zhang50773·2016-01-18 11:14

nginx日志切割（文件数特别多的情况下）

#!/bin/bashexport YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)[-d/var/log/nginx]&&  exportLOG_PATH=/var/log/nginxlog_exc(){    mv $filename $LOG_PATH/$YESTERDAY.$filename}log_files=`ll/var/log/*.log|awk
bawoshiji·2016-01-18 11:14

nginx内置变是日志分分析方法

nginx日志分分析方法 一、从nigx上截取的条nginx日志-122.59.14.12122.59.14.12--[24/Apr/2011:10:37:06+0800]"GET/product/sellerscore.do
ronin47·2016-01-17 10:00

Nginx日志切割

Nginx日志切割Nginx没有apache自动日志切割工具，但是我们可以自己写脚本，也可以借助Centos自带的日志归档工具logrotate一、写一个nginx的日志切割脚本[root@daixuannginx_log
1350368559·2016-01-12 21:41

Nginx日志切割

Nginx日志切割Nginx没有apache自动日志切割工具，但是我们可以自己写脚本，也可以借助Centos自带的日志归档工具logrotate一、写一个nginx的日志切割脚本[root@daixuannginx_log
1350368559·2016-01-12 21:41

Nginx不记录指定文件类型的日志

一、设置Nginx日志类型日志格式类型：daixuan远程的IP，代理IP，时间，域名，访问地址，链接，状态码，referer，浏览器信息[root@daixuanconf]#cd/usr/local/
1350368559·2016-01-12 20:40

Nginx不记录指定文件类型的日志

一、设置Nginx日志类型日志格式类型：daixuan远程的IP，代理IP，时间，域名，访问地址，链接，状态码，referer，浏览器信息[root@daixuanconf]#cd/usr/local/
1350368559·2016-01-12 20:40

nginx 日志过滤网络爬虫

分析nginx日志的时候，比较头疼的是有许多蜘蛛爬虫的痕迹。
DevilRex119·2016-01-12 17:30

nginx 日志过滤网络爬虫

分析nginx日志的时候，比较头疼的是有许多蜘蛛爬虫的痕迹。
DevilRex119·2016-01-12 17:30

logstash之grok过滤

简介  前面我们的nginx日志编码使用的json，logstash直接输入预定义好的JSON数据，这样就可以省略掉filter/grok配置,但是在我们的生产环境中，日志格式往往使用的是普通的格式，因此就不得不使用
木讷大叔爱运维·2016-01-11 12:57

使用elk+redis搭建nginx日志分析平台

elk+redis搭建nginx日志分析平台logstash,elasticsearch,kibana怎么进行nginx的日志分析呢？
DevilRex119·2016-01-11 10:34

使用elk+redis搭建nginx日志分析平台

elk+redis搭建nginx日志分析平台logstash,elasticsearch,kibana怎么进行nginx的日志分析呢？
DevilRex119·2016-01-11 10:34

使用elk+redis搭建nginx日志分析平台

elk+redis搭建nginx日志分析平台logstash,elasticsearch,kibana怎么进行nginx的日志分析呢？
DevilRex119·2016-01-11 10:34

nginx相关参数说明

本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、
fengbin2005·2016-01-10 14:00

Kafka文件存储机制

1400:00Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx
ltw518·2016-01-07 17:45

flume+kafka+zookeeper 日志收集平台的搭建

首先说明下我的目的是什么，我的目的是单纯的收集nginx的日志以及各种应用程序的日志nginx日志预留的位置flume和kafka这个大小的作用是什么我就不再说了，大家去自己搜下一。
jastme·2016-01-07 10:00

Nginx日志文件配置与切割

Nginx日志的指令主要有两条：log_format，设置日志的格式access_log，指定日志文件的存放路径、格式和缓存大小两条指令在Nginx配置文件中的位置可以在http{……..}之间，也可以在虚拟主机之间
兵小志大·2016-01-05 17:00

日志切割

先来写一个nginx日志切割的脚本vim/usr/local/sbin/nginx_logrotate.shd=`date-d"-1day"+%Y%m%d` [-d/tmp/nginx_log]||mkdir
only1start·2016-01-04 01:55

离线日志分析系统

离线日志分析,,功能主要是分析nginx的日志..根据nginx日志,分析出各省份,各ISP,,HTTP状态码,,错误数等情况..相比现在流行的ELK,,能分析出更长久的历史数据,,速度上面也会稍快于ELK
mstools·2015-12-21 21:25

离线日志分析系统

  离线日志分析,,功能主要是分析nginx的日志..根据nginx日志,分析出各省份,各ISP,,HTTP状态码,,错误数等情况..相比现在流行的ELK,,能分析出更长久的历史数据,,速度上面也会稍快于
mstools·2015-12-21 21:25

离线日志分析系统

  离线日志分析,,功能主要是分析nginx的日志..根据nginx日志,分析出各省份,各ISP,,HTTP状态码,,错误数等情况..相比现在流行的ELK,,能分析出更长久的历史数据,,速度上面也会稍快于
mstools·2015-12-21 21:25

nginx记录响应与POST请求日志

nginx的日志通过调整log_format格式可以记录所有请求信息回答群里盆友一个问题 nginx日志，可以记录post的参数吗？答：可以实现，通过设置log_format指令的参数。
935955868·2015-12-17 17:39

nginx日志分割脚本

#cut_nginx_logs.sh #!/bin/bash #function:cut nginx log files #set the path to nginx log files log_files_path="/usr/local/nginx/logs/" log_files_dir=${log_files_path}$(date +%Y%m%d) #set nginx log fil
ciscoxushaojie·2015-12-17 09:01

nginx日志分割脚本

#cut_nginx_logs.sh#!/bin/bash#function:cut nginx log files#set the path to nginx log fileslog_files_path="/usr/local/nginx/logs/"log_files_dir=${log_files_path}$(date +%Y%m%d)#set nginx log files you 
ciscoxushaojie·2015-12-17 09:01

nginx日志分割脚本

#cut_nginx_logs.sh #!/bin/bash #function:cut nginx log files #set the path to nginx log files log_files_path="/usr/local/nginx/logs/" log_files_dir=${log_files_path}$(date +%Y%m%d) #set nginx log fil
ciscoxushaojie·2015-12-17 09:01

python分析nginx日志的ip(中篇二)

对nginx的log进行分析，统计网站url和status，按照统计数量排序后，保存到mysql数据库中，这个功能本来是和《上篇》中的日志分析是在一起的，运维管理系统中把web统计功能单独分开了数据库中表结构： #!/usr/binenvpython#coding:utf-8importMySQLdbasmysqlimportsys,osdb=mysql.connect(user="root",p
落叶刀·2015-12-16 16:00

R语言－分析nginx日志

R语言分析nginx日志nginx日志举例172.16.1.1 - - [04/Feb/2015:23:40:01 +0800] "POST /api/message/query HTTP/1.1" 200
openthings·2015-12-16 10:00

nginx日志分析工具awstats

Nginx日志分析awstats Awstats功能及简介：AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。    
chen710409894·2015-12-16 10:59

nginx日志分析工具awstats

Nginx日志分析awstatsAwstats功能及简介：AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。
chen710409894·2015-12-16 10:59

python分析nginx日志的ip(中篇一)

 利用python的数据分析pandas，numpy，matplotlib模块进行可视化分析，画出图表，这几个模块需要独立安装，安装好后需要用ipython--pylab方式打开。并且要引用MySQLdb模块，为了省事，我把数据统计这一块直接在mysql数据库中执行了，本身需求就不复杂，况且对pandas，matplotlib这几个工具也刚接触不久，持续深入研究中，能简则简了。 具体步骤如下，切记
落叶刀·2015-12-15 22:00

一次用bash+python分析NGINX日志的记录

目标：按文章类型分别统计文章PV，并按PV倒序显示分析：从NGINX日志按URL特征可以取出所有文章页URL，并从URL中得到ID拿ID到数据库中可查询出文章所属类型type具体操作：从日志中取出所有详情页
jxh_vip·2015-12-15 18:41

Nginx日志每小时自动转储

功用：通过使用logrotate和crontab，将Nginx单日志，按照logrotate配置要求每个小时进行一次转储操作。运行环境：centos6.6,所需安装程序：logrotate，crontab安装：    yuminstalllogrotatecrontabs 配置logrotate添加|修改/etc/logrotate.d/nginx内容为/var/log/nginx/access/
openex·2015-12-11 17:43

Nginx日志分析

sort -u清除重复的行--unique-r降序 sort默认排序是升序-n按数值来排序uniq -c在输出行前面加上每行在输入文件中出现的次数。-d仅显示重复行。-u仅显示不重复的行。-n前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开（字段从0开始编号）。+n前n个字符被忽略，之前的字符被跳过（字符从0开始编号）。a统计访问不重复的IP数
harkdi·2015-12-10 16:00

python分析nginx日志的ip(上篇)

很早之前就想写个有这样功能的程序了。。。。。。直到在一个漆黑的夜里。。。。。。。看了一个大姐写了统计ip归属地的代码。。。。。。。我的日志是每天轮询一次，生成新的log，所以我的数据库中的时间信息，记录的是我代码执行时插入的时间。代码执行结果如下：                                           数据库中的信息如下：数据样本：日志中的格式大概如下代码如下#!/u
落叶刀·2015-12-09 16:00

如何开发打点统计系统

所以我这次就果断使用分析nginx日志的方法来做打点（这个方法
·2015-12-09 11:30

一些工作中遇到的问题分享

cataccess.log2>/dev/null将系统error不返回到控制台这里使用2>/dev/null要分析一个很大（10G）的nginx日志，将最近5分钟的access.log进行分析，怎么做？
·2015-12-09 11:05

ELK Stack最新版本测试二配置篇

阅读本文前请浏览ELKStack最新版本测试一安装篇http://jerrymin.blog.51cto.com/3002256/1720109详细配置如下：一，客户端1，nginx日志格式log_formatlogstash_json
minminmsn·2015-12-06 19:06
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他