E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
NGINX日志
nginx httpcode分析脚本
之前在做cdn运维的时候,因为业务的特殊性(跨机房,跨ISP,跨区域),把日志集中传输到一个中心来做qos的分析不太现实,因此采用的方法是每5分钟对
nginx日志
进行切割,然后通过python程序计算
菜菜光
·
2014-03-10 16:44
nginx
HttpCode
分析脚本
nginx httpcode分析脚本
之前在做cdn运维的时候,因为业务的特殊性(跨机房,跨ISP,跨区域),把日志集中传输到一个中心来做qos的分析不太现实,因此采用的方法是每5分钟对
nginx日志
进行切割,然后通过python程序计算httpcode
菜菜光
·
2014-03-10 16:44
nginx
httpcode
分析脚本
cdn
nginx日志
分割 for linux
默认情况下,nginx是不分割访问日志的,久而久之,网站的日志文件将会越来越大,占用空间不说,如果有问题要查看网站的日志的话,庞大的文件也将很难打开,于是便有了下面的脚本!使用方法,先将以下脚本保存为cutlog.sh,放在/root目录下,然后给予此脚本执行的权限chmod+xcutlog.sh,然后使用crontab-e将此脚本加入到计划任务中,0000***/bin/bash/root/cu
KylinBL
·
2014-03-09 23:50
linux
Nginx安装和使用
sudoapt-getinstallnginx Ubuntu安装之后的文件结构大致为:所有的配置文件都在/etc/nginx下,并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/
nginx
Johnny_L
·
2014-03-04 16:00
nginx
ubuntu
php-fpm 502 bad gateway错误处理
最近一个月经常有客服打电话抱怨页面出现502错误起初以为是运行游戏程序问题(因为重启php-fpm进程没有用,只有重启游戏才能恢复),后来情况严重了:连论坛都出现了502错误,为了不等领导请喝茶,赶紧查了
nginx
leezqang
·
2014-02-28 17:05
gateway
fastcgi
502
php-fpm
bad
使用logrotate管理
nginx日志
文件
下面以
nginx日志
文件来讲解下logrotate的用法。配置:1、在/etc/logrotate.d目录下创建一个nginx的配置文件"nginx"配置内容如下#vim/etc/logro
fuquanjun1013
·
2014-02-28 10:59
nginx
日志文件
logrotate
使用Fluentd和MongoDB构建日志收集系统
主要通过一个收集Apache/
nginx日志
的例子来说明其使用方法:机制图解安装Fluentd设置yum源vi/etc/yum.repos.d/td.repo[treasuredata]name=TreasureD
ljl_19880709
·
2014-02-28 10:38
Linux
日志系统
使用Fluentd和MongoDB构建日志收集系统
主要通过一个收集Apache/
nginx日志
的例子来说明其使用方法:机制图解安装Fluentd设置yum源vi/etc/yum.repos.d/td.repo[treasuredata]name=TreasureD
ljl_19880709
·
2014-02-28 10:38
Nginx日志
定时切割压缩
Nginx日志
主要用于日后的审计和分析,对系统的安全有着重要的意义。但是随着时间的推移,日志文件会变得越来越大,这就需要对日志进行处理分割了。
梦朝思夕
·
2014-02-26 16:35
日志
Nginx
压缩
Nginx
Nginx日志
定时切割压缩
Nginx日志
主要用于日后的审计和分析,对系统的安全有着重要的意义。但是随着时间的推移,日志文件会变得越来越大,这就需要对日志进行处理分割了。
梦朝思夕
·
2014-02-26 16:35
nginx
压缩
日志
Nginx日志
切割
#!/bin/sh logpath="/data4/logs/" newlogpath="/data4/logs/"`date+%Y/%m` mkdir-p$newlogpath cd$logpath forfilenamein`ls*.log` do mv$filename$newlogpath'/'$filename`date+%Y%m%d`'.log' done /usr/local/n
小兄弟
·
2014-02-22 09:00
nginx日志
导致IO负载较高,如何处理
使用Nginx来收集日志,访问量较大,在将收集的数据直接记录磁盘文件时,导致磁盘IO过高,机器直接挂掉。为减少磁盘IO操作,将日志写如内存分区;但日志量太大,很容易将内存写满。Nginx支持日志压缩功能,具体如下:access_log path format gzip[=level] [buffer=size] [flush=time];Ifeitherthebufferorgzip(1.3.10
talance
·
2014-02-17 17:00
nginx
日志
nginx日志
方面知识整理
1.默认日志内容介绍默认的示例: log_format main '$remote_addr-$remote_user[$time_local]"$request"' '$status$body_bytes_sent"$http_referer"' '"$http_user_agent""$htt
kjh2007abc
·
2014-02-14 11:02
nginx
日志
知识
切割
nginx日志
方面知识整理
1.默认日志内容介绍默认的示例:log_formatmain'$remote_addr-$remote_user[$time_local]"$request"''$status$body_bytes_sent"$http_referer"''"$http_user_agent""$http_x_forwarded_for"'注释:$remote_addr与$http_x_forwarded_for
无锋剑
·
2014-02-14 11:02
日志
知识
nginx
Nginx
Caddy
nginx日志
写入mongodb
1.1 说明 #环境 centos + openresty # nginx.conf http: log_format main '$remote_addr $request_method "$region" $status ' '"$scheme://$host$request_uri" $body_bytes_sent "$request_body" ' '"$http_referer" $h
lucifercn
·
2014-02-11 13:00
nginx错误汇总
1、日志简介
nginx日志
主要有两种:访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求,格式可以自定义;错误日志主要记录客户端访问nginx出错时的日志,格式不支持自定义。
zxz108318
·
2014-02-06 10:44
server
访问量
request
linux网络服务
nginx错误汇总
1、日志简介
nginx日志
主要有两种:访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求,格式可以自定义;错误日志主要记录客户端访问nginx出错时的日志,格式不支持自定义。
zxz108318
·
2014-02-06 10:44
request
server
status
选择性
访问量
impala常见错误小结
线上使用impala做一部分的
nginx日志
实时计算,简单记录下在使用过程中遇到的一些小问题:部署常见问题:1.mysqljar错误Causedby:org.datanucleus.exceptions.NucleusException
菜菜光
·
2014-01-28 15:50
impala
错误小结
impala常见错误小结
线上使用impala做一部分的
nginx日志
实时计算,简单记录下在使用过程中遇到的一些小问题:部署常见问题:1.mysqljar错误Causedby:org.datanucleus.exceptions.NucleusException
菜菜光
·
2014-01-28 15:50
impala
错误小结
bigdata
使用AWSTATS自动分析
Nginx日志
环境说明:Nginx安装目录:/usr/local/nginxNginx配置文件存放目录:/usr/local/nginx/conf/nginx.conf
Nginx日志
目录:/usr/local/nginx
liangxiaowei66
·
2014-01-22 17:17
使用AWSTATS自动分析
Nginx日志
环境说明:Nginx安装目录:/usr/local/nginxNginx配置文件存放目录:/usr/local/nginx/conf/nginx.conf
Nginx日志
目录:/usr/local/nginx
liangxiaowei66
·
2014-01-22 17:17
防止ddos攻击脚本
网站总是被ddos攻击,导致网站流量下降,故写了一个防止ddos攻击的脚本,分为黑名单和白名单俩个文件,前提
nginx日志
一定要做了日志分割功能,按小时分割,功能1.查
nginx日志
什么小时内的访问前几名
一只菜菜鸟
·
2014-01-20 21:01
防止ddos攻击脚本
自定义hive url parse函数
在用hive做
nginx日志
url分析的时候,经常需要parseurl。
菜菜光
·
2014-01-10 17:17
hive
url
parse
udf
自定义hive url parse函数
在用hive做
nginx日志
url分析的时候,经常需要parseurl。
菜菜光
·
2014-01-10 17:47
hive
udf
url
parse
hive
nginx日志
切割
发现nginx的日志没有正常的切割catlogrotate.d/nginx/home/log/nginx1.0.11/*.log{ daily rotate30 copytruncate missingok notifempty compress }参照http://wiki.nginx.org/LogRotation$mvaccess.logaccess.log.0 $kill-USR1`cat
天山三害
·
2013-12-29 23:03
nginx
日志切割
日志归档
logroatae
nginx日志
切割
发现nginx的日志没有正常的切割catlogrotate.d/nginx/home/log/nginx1.0.11/*.log{dailyrotate30copytruncatemissingoknotifemptycompress}参照http://wiki.nginx.org/LogRotation$mvaccess.logaccess.log.0$kill-USR1`catmaster.n
天山三害
·
2013-12-29 23:03
nginx
日志切割
日志归档
linux
nginx日志
自动切换
简单的操作,要实现自动化的话,用shell脚本写个定时器 1.更改原来的日志的名字 mv host_port_8000.access.log host_port_8000.access.log.bak mv host_port_80.access.log host_port_80.access.log.bak 2.执行命令 kill -usr1 `cat
MaxOmnis
·
2013-12-28 17:00
nginx
Nginx中log变量及Tengine的log_unescape
灵活而全面的变量定义是
Nginx日志
模块的优势体现。在2011年时曾经整理过一些`核心变量的意义`,主要是第一种类型
Lax
·
2013-12-27 13:00
goaccess-
nginx日志
分析工具简介
GoAccess是一个用来统计ApacheWeb服务器的访问日志的工具,可即时生成统计报表,速度非常快。查看的统计信息有:统计概况,流量消耗等访客排名动态Web请求静态web请求,如图片、样式表、脚本等。来路域名404错误操作系统浏览器和搜索引擎主机、DNS和IP地址HTTP响应代码引荐网站键盘布局自定义显示支持超大日志GoAccess在CentOS上的安装方法:1.需要安装GeoIP,ncurs
linux_python
·
2013-12-24 16:44
Linux
nginx
日志分析工具
linux学习
goaccess-
nginx日志
分析工具简介
GoAccess是一个用来统计ApacheWeb服务器的访问日志的工具,可即时生成统计报表,速度非常快。查看的统计信息有:统计概况,流量消耗等访客排名动态Web请求静态web请求,如图片、样式表、脚本等。来路域名404错误操作系统浏览器和搜索引擎主机、DNS和IP地址HTTP响应代码引荐网站键盘布局自定义显示支持超大日志GoAccess在CentOS上的安装方法:1.需要安装GeoIP,ncurs
fuquanjun1013
·
2013-12-24 16:44
nginx
linux
日志分析工具
玩转 Linux 之:由 Nginx log rotation 聊聊 mv 的妙用
1、Nginx下如何正确的做日志切分今天发现有个
Nginx日志
rotation出来大小是0,很奇怪,按公司的业务场景来说,这是不可能的。
xrzs
·
2013-12-24 01:00
nginx日志
切割
如果你不处理,日志文件将变得越来越大,还好我们可以写一个
nginx日志
切割脚本来自动切割日志文件。第一步就是重命名日志文件,不用担心重命名后nginx找不到日志文件而丢失日志。
wjs462028531
·
2013-12-20 10:04
nginx
日志切割
Ubuntu Nginx 配置
nginxsudoapt-getinstallnginxUbuntu安装之后的文件结构大致为:所有的配置文件都在/etc/nginx下,并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/
nginx
hikelee
·
2013-12-19 10:22
Ubuntu
Nginx
通过LogStash收集
nginx日志
参考:https://medium.com/devops-programming/b01bd0876e82 KIBANAWEBINTERFACEShippingnginxaccesslogstoLogStashAcentralizedwebinterfaceforgreppingandfilteringlogs.Commando.io in DevOps&ProgrammingAt Command
san_yun
·
2013-12-17 00:00
logstash
Awstats流量监控
nginx日志
全过程
Awstats流量监控首先下载awstats7.0 http://cdnetworks-kr-2.dl.sourceforge.net/project/awstats/AWStats/7.0/awstats-7.0.tar.gz安装,路径选择网站根目录建立awstats我的路径/usr/local/www/php/code/awstats把安装包考到linux下(位置自己定)1.找到awstats
pointsand
·
2013-12-13 12:27
nginx
awstats
流量监控
nginx日志
管理
log_format指令用来设置日志的记录格式语法:log_formatnameformat[format.......]具体格式:log_formatmain'$http_x_forwarded_for-$remote_user[$time_local]''"$request"$status$body_byte_sent''"$http_referer""$http_user_agent"'$h
yan_ruo_gu
·
2013-12-11 17:00
nginx
log
日志管理
nginx访问日志,错误日志参数说明
说明:
nginx日志
主要有两种:访问日志、错误日志。
adpanshi
·
2013-12-10 16:17
nginx访问日志
错误日志参数说明
lnmp
nginx访问日志,错误日志参数说明
说明:
nginx日志
主要有两种:访问日志、错误日志。
adpanshi
·
2013-12-10 16:17
错误日志参数说明
nginx访问日志
awk分析
nginx日志
,获取pv
最近在深入系统运维的事情,从服务器配置、调优、维护,到各种脚本编写。实现自动化智能运维的目标还要很远。从nginx的日志中分析每日有效的pv和各搜索引擎爬虫的请求数。脚本用awk实现。函数库文件stat_func.sh [c-sharp]viewplaincopyprint?#!/bin/bash stat_log_path=/usr/local/qqsa/result stat_nginx_
Chinamming
·
2013-12-07 01:00
nginx不记录特定日志(access_log_bypass_if)
CustomLog[env=XXX]指定排除哪些日志不记录,nginx自身没有这个功能,但是在官方的第三方模块找到了ngx_log_if_module,它实现了类似env的功能.如果你想了解nginx更多
nginx
小运
·
2013-12-06 18:00
apache
env
nginx日志定制
最佳
Nginx日志
分析工具Goaccess
非常小又精悍的
Nginx日志
分析工具Goaccess,处理速度非常快,我用XShell查看,还可以生成html报告,先看图GoAccess在CentOS上的安装方法:1.需要安装GeoIP,ncurses
mrco
·
2013-12-05 14:00
nginx
log
GoAccess
[日志分割回滚] 使用linux自带的logrotate对
nginx日志
进行分割
logrotate日志分割配置:#cat/etc/logrotate.d/nginx/data/nginx_logs/*.access_log #
nginx日志
所在目录{nocompress
lxshopping
·
2013-12-05 14:04
linux
nginx
create
windows下
Nginx日志
处理脚本
运行说明:20120917.txt是需要分析的日志,last.csv是统计结果(使用execl打开,方便统计、排序)。1.[文件]awk.zip2.[图片]运行截图.jpg3.[图片]运行结果4.[代码]存为bat双击打开即可复制代码代码如下:@echooffsetlocalENABLEDELAYEDEXPANSIONrem将IP提取到ip.txt文件awk.exe"{a[$1]+=1;}END{
·
2013-11-29 17:21
linux Nginx 日志脚本
任务计划crontab-l115***/home/dongnan/sh/split.sh>>/home/dongnan/sh/cron.log2>&
nginx日志
ls/var/log/nginx/20130730
·
2013-11-29 17:27
varnish代理nginx,让nginx记录真实client的ip
最近在研究学习varnish反向代理+缓存,google了很久之后,实现了让
nginx日志
记录真实client的ip地址,在这一个是记录一下,一个是给大伙分享下。
紫暝1127
·
2013-11-29 14:38
nginx
varnish
真实ip
logstash
varnish代理nginx,让nginx记录真实client的ip
最近在研究学习varnish反向代理+缓存,google了很久之后,实现了让
nginx日志
记录真实client的ip地址,在这一个是记录一下,一个是给大伙分享下。
紫暝1127
·
2013-11-29 14:38
nginx
varnish
真实IP
nginx日志
类解读
nginx日志
是在src/core/ngx_log.h|c中定义的,是
nginx日志
相关的结构及操作方法的定义。下面看看日志类是什么情况:1.
joescott
·
2013-11-28 19:00
Linux: Nginx 安装
sudoapt-getinstallnginx Ubuntu安装之后的文件结构大致为:所有的配置文件都在/etc/nginx下,并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/
nginx
天梯梦
·
2013-11-28 02:00
linux
Linux: Nginx 安装
sudoapt-getinstallnginx Ubuntu安装之后的文件结构大致为:所有的配置文件都在/etc/nginx下,并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/
nginx
天梯梦
·
2013-11-28 02:00
linux
Linux: Nginx 安装
sudoapt-getinstallnginx Ubuntu安装之后的文件结构大致为:所有的配置文件都在/etc/nginx下,并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/
nginx
天梯梦
·
2013-11-28 02:00
linux
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他