E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
NGINX日志
nginx 日志切割
nginx日志
切割#!
loip125
·
2015-04-30 16:07
切割
服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站
最近张戈发现
nginx日志
中出现了好多宜搜等垃圾的抓取记录,于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法,在给自己网做设置的同时,也给各位站长提供参考。一、Apache①、通过修改.hta
灰仔
·
2015-04-30 14:00
爬虫
Google
spider
baidu
bing
nginx访问日志,错误日志参数说明
说明:
nginx日志
主要有两种:访问日志、错误日志。
yjyygywcw
·
2015-04-24 17:13
request
response
error_log
nginx日志
nginx访问日志,错误日志参数说明
说明:
nginx日志
主要有两种:访问日志、错误日志。
yjyygywcw
·
2015-04-24 17:13
request
response
error_log
nginx日志
【Nginx五】Nginx常用日志格式含义
log_format 1.1 log_format指令用于指定日志的格式,格式: log_format name(格式名称) type(格式样式) 1.2 如下是一个常用的
Nginx
bit1129
·
2015-04-24 17:00
nginx
【Nginx五】Nginx常用日志格式含义
log_format 1.1 log_format指令用于指定日志的格式,格式: log_format name(格式名称) type(格式样式) 1.2 如下是一个常用的
Nginx
bit1129
·
2015-04-24 17:00
nginx
【Nginx五】Nginx常用日志格式含义
log_format 1.1 log_format指令用于指定日志的格式,格式: log_format name(格式名称) type(格式样式) 1.2 如下是一个常用的
Nginx
bit1129
·
2015-04-24 17:00
nginx
Kafka文件存储机制那些事
Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/
nginx日志
allantaylor81
·
2015-04-24 10:00
flume按照日志时间写hdfs实现
BucketPath完成分析其源码(参考:http://caiguangguang.blog.51cto.com/1652935/1619539)可以使用%{}变量替换的形式实现,只需要获取event中时间字段(
nginx
菜菜光
·
2015-04-19 17:22
Flume
hdfs
hdfssink
flume按照日志时间写hdfs实现
BucketPath完成分析其源码(参考:http://caiguangguang.blog.51cto.com/1652935/1619539)可以使用%{}变量替换的形式实现,只需要获取event中时间字段(
nginx
菜菜光
·
2015-04-19 17:22
hdfs
flume
hdfssink
flume
flume按照日志时间写hdfs实现
BucketPath完成分析其源码(参考:http://caiguangguang.blog.51cto.com/1652935/1619539)可以使用%{}变量替换的形式实现,只需要获取event中时间字段(
nginx
菜菜光
·
2015-04-19 17:22
Flume
hdfs
hdfssink
使用Logstash收集
Nginx日志
首先将
Nginx日志
格式作调整log_format json '{"@timestamp":"$time_iso8601",' '"@source":"$server_addr
自由linux
·
2015-04-14 12:17
Logstash
ELK
日志处理
使用Logstash收集
Nginx日志
首先将
Nginx日志
格式作调整log_format json '{"@timestamp":"$time_iso8601",' '"@source":"$
自由linux
·
2015-04-14 12:17
logstash
ELK
使用Logstash收集
Nginx日志
首先将
Nginx日志
格式作调整log_format json '{"@timestamp":"$time_iso8601",' '"@source":"$
自由linux
·
2015-04-14 12:17
logstash
ELK
Nginx 日志滚动
Nginx日志
滚动配置在linux下配置日志滚动一般都用系统自带的logrotate,但是在之前的使用中发现,如果一个daemon只打开一个日志文件写日志,在logroate的配置文件中使用copytruncate
jack_boy
·
2015-04-14 08:00
nginx
日志
nginx错误问题
nginx有时候当你修改配置文件过后就会报错,但是你也没有改什么,就是发现不了问题,
nginx日志
报错如下那么就输入sudofuser-k80/tcp之后再重启nginx就可以了 重新运行一下sudonginx
·
2015-04-08 18:00
nginx
关于阿里云SLB remote addr显示为公网IP分析
nginx日志
设置如下log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent
极速前行
·
2015-04-04 16:35
nginx
SLB
remote_addr
关于阿里云SLB remote addr显示为公网IP分析
nginx日志
设置如下log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent
极速前行
·
2015-04-04 16:29
nginx
remote_addr
SLB
python实现分析apache和
nginx日志
文件并输出访客ip列表的方法
本文实例讲述了python实现分析apache和
nginx日志
文件并输出访客ip列表的方法。分享给大家供大家参考。
令狐不聪
·
2015-04-04 11:31
nginx awstats 安装配置和日志分析
1.Nginx安装目录:/usr/local/nginx Nginx配置文件存放目录:/usr/local/nginx/conf/nginx.conf
Nginx日志
目录:/usr/local/nginx
yzg2880671962
·
2015-04-03 14:58
nginx
日志分析
配置文件
切割
Nginx日志
切分
1.介绍 nginx产生的日志本身不提供切割功能,所以需要自己来实现.2.配置2.1切割并压缩vimcut_log.shcut_log(){ domain=$1 #TheNginxlogspath logs_path="/home/nginx_logs/" logs_name=${domain}'_access.log' now_time=$(date-d"${Time}"+%s)
郭恩洲的博客
·
2015-04-01 21:00
nginx日志
分析shell脚本
#!/bin/bash for i in $@;do echo ===================== "$i" ============================= echo "IP data" awk '{print $1}' $i |wc -l awk '{print $1}' $i |sort | uniq -c |wc -l echo "sokect data" a
极速前行
·
2015-03-27 15:38
nginx
shell
shell脚本
nginx日志
分析shell脚本
#!/bin/bash for i in $@;do echo ===================== "$i" ============================= echo "IP data" awk '{print $1}' $i |wc -l awk '{print $1}' $i |sort | uniq -c |wc -l echo "sokect data" a
极速前行
·
2015-03-27 15:38
nginx
shell
shell脚本
针对数据 gnuplot画图 初试
把数据画成图,是我一直想要达到的,今日研究gnuplot,小有成就,下面我只举一个数据制图的例子比如我想画个每小时
nginx日志
500错的图需求:开启一个http服务,比如80端口 web根目录为/var
darkyl
·
2015-03-26 09:32
数据
画图
gnuplot
针对数据 gnuplot画图 初试
把数据画成图,是我一直想要达到的,今日研究gnuplot,小有成就,下面我只举一个数据制图的例子比如我想画个每小时
nginx日志
500错的图需求:开启一个http服务,比如80端口 web根目录为/var
darkyl
·
2015-03-26 09:32
数据
画图
gnuplot
针对数据 gnuplot画图 初试
把数据画成图,是我一直想要达到的,今日研究gnuplot,小有成就,下面我只举一个数据制图的例子比如我想画个每小时
nginx日志
500错的图需求:开启一个http服务,比如80端口web根目录为/var
darkyl
·
2015-03-26 09:32
数据
gnuplot
画图
开源监控
[nginx] 网上最全面nginx教程(近100篇文章整理)
nginx日志
配置10. apache和nginx支持SSI配置12.
qinyushuang
·
2015-03-25 15:00
nginx
nginx日志
模块
nginx日志
模块包含三条指令:access_log#指定日志保存的文件位置和文件名 log_format#指定日志格式 open_log_file_cache#打开日志缓存log_format指令语法如下
huangyanxiong
·
2015-03-23 23:00
nginx日志
分割
定时任务 0 0 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx /etc/logrotate.d/nginx文件 /letv/logs/nginx/api.pv.log /letv/logs/nginx/boss.pv.log{dailydateextmaxa
weiboxie
·
2015-03-23 15:00
nginx
nginx日志
切割脚本
1.今天本来想看下nginx的错误日志,结果打开却刷出密密麻麻的日志,因为nginx本身不带有自动切割日志,累积太多的结果。这个时候就很烦了,没办法,我只能写参考一下别人的日志切割,写了自己所想要的日志切割脚本。2.脚本如下:#!/bin/bash#log_path="/usr/local/nginx/logs" pid_path="/usr/local/nginx/logs" date=$(
yzg2880671962
·
2015-03-20 14:39
切割
yesterday
flume-ng 自定义sink 实现rollfile 变量目录
应用场景:需要实时收集多台服务器的
nginx日志
到一台机器。
chunhei2008
·
2015-03-17 11:00
Flume
sink
用Sqoop2在Mysql和hadoop导入导出数据
最近在做用户刷赞排除逻辑的时候,需要结合nginx的access.log日志和Mysql中的部分记录联合查询才能做到,之前的
nginx日志
一直存放在hadoop中,mysql的数据则没有导入到hadoop
zhangzhaokun
·
2015-03-14 09:00
hadoop
sqoop2
nginx日志
切割脚本
如果你不处理,日志文件将变得越来越大,还好我们可以写一个
nginx日志
切割脚本来自动切割日志文件。 第一步就是重命名日志文件,不用担心重命名后nginx找不到日志文件而丢失日志。
·
2015-03-13 16:00
nginx
rsyslog收集
nginx日志
配置
rsyslog日志收集配置rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理请查看上一篇文章http://bbotte.blog.51cto.com/6205307/1613571客户端/发送端web服务器#yuminstallrsyslog-y#vim/etc/rsyslog.conf*.*@192.168.10.1:514#vim/etc/bashrc#收集其他服务器的操
dxm2025
·
2015-03-12 11:52
rsyslog收集
nginx日志
配置
rsyslog日志收集配置rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理请查看上一篇文章 http://bbotte.blog.51cto.com/6205307/1613571 客户端/发送端 web服务器# yum install rsyslog -y# vim /etc/rsyslog.conf*.* @192.168.10.1:514# vim /etc/ba
大九刘
·
2015-03-12 11:12
service
history
web服务器
客户端
Export
rsyslog收集
nginx日志
配置
rsyslog日志收集配置rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理请查看上一篇文章 http://bbotte.blog.51cto.com/6205307/1613571 客户端/发送端 web服务器# yum install rsyslog -y# vim /etc/rsyslog.conf*.* @192.168.10.1:514# vim /etc/ba
大九刘
·
2015-03-12 11:12
service
history
web服务器
客户端
Export
logrotate管理
nginx日志
文件
下面以
nginx日志
文件来讲解下logrotate的用法。配置:1、在/etc/logrot
传奇库子
·
2015-03-11 16:30
mongodb
nginx
linux
logrotate
logrotate管理
nginx日志
文件
下面以
nginx日志
文件来讲解下logrotate的用法。配置:1、在/etc/logrot
传奇库子
·
2015-03-11 16:30
mongodb
nginx
linux
logrotate
logrotate管理
nginx日志
文件
下面以
nginx日志
文件来讲解下logrotate的用法。配置:1、在/etc/logrot
传奇库子
·
2015-03-11 16:30
logrotate
mongodb
ng
Linux
Kafka文件存储机制那些事
Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/
nginx日志
huanggang028
·
2015-03-10 18:28
kafka
一个简易的python脚本统计
nginx日志
里的url及大小
log日志格式如下113.221.56.131 - [05/Feb/2015:18:31:19 +0800] " ab.baidu.com GET /media/game/a_.jpg HTTP/1.1" 200 169334 "http://laoma123.ybgj01.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;
caijyi1
·
2015-03-06 16:29
media
linux
python
统计
一个简易的python脚本统计
nginx日志
里的url及大小
log日志格式如下113.221.56.131 - [05/Feb/2015:18:31:19 +0800] " ab.baidu.com GET /media/game/a_.jpg HTTP/1.1" 200 169334 "http://laoma123.ybgj01.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;
caijyi1
·
2015-03-06 16:29
media
linux
python
统计
nginx日志
格式说明
1、配置文件 #vim/usr/local/nginx/conf/nginx.conf log_format access '$remote_addr-$remote_user[$time_local]"$request"' '$status$body_bytes_sent"$http_referer"' '"$http_user_agent"$
u014236541
·
2015-03-01 17:00
rsyslog收集
nginx日志
配置
rsyslog日志收集配置rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理请查看上一篇文章http://bbotte.blog.51cto.com/6205307/1613571客户端/发送端web服务器# yum install rsyslog -y# vim /etc/rsyslog.conf*.* @192.168.10.1:514# vim /etc/bashrc
bbotte
·
2015-02-14 14:50
日志
nginx
rsyslog
【
服务器】
rsyslog收集
nginx日志
配置
rsyslog日志收集配置rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理请查看上一篇文章 http://bbotte.blog.51cto.com/6205307/1613571 客户端/发送端 web服务器# yum install rsyslog -y # vim /etc/rsyslog.conf *.* @192.168.10.1:514 # vim /etc/b
bbotte
·
2015-02-14 14:50
nginx
日志
rsyslog
rsyslog收集
nginx日志
配置
rsyslog日志收集配置rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理请查看上一篇文章 http://bbotte.blog.51cto.com/6205307/1613571 客户端/发送端 web服务器# yum install rsyslog -y # vim /etc/rsyslog.conf *.* @192.168.10.1:514 # vim /etc/b
bbotte
·
2015-02-14 14:50
nginx
日志
rsyslog
nginx 配置说明
1、安装nginxyuminstallnginx;默认目录;/etc/nginx/配置文件;/var/log/
nginx日志
文件;/etc/init.d/nginx启动service;servicenginxstartservicenginxstopservicenginxrestart2
惊浪
·
2015-02-12 11:00
nginx
nginx配置
default.conf
R语言分析
nginx日志
nginx日志
举例172.16.1.1--[04/Feb/2015:23:40:01+0800]"POST/api/message/queryHTTP/1.1"20052"-""Apache-HttpClient
mahengyang
·
2015-02-10 12:00
日志分析
R语言
nginx自动日志功能与日志自动切割脚本
关于nginx包含变量的自动日志:使用自动日志需要注意以下:1、
nginx日志
目录权限,以我的安装路径为例/usr/local/nginx,那我的日志目录就是在/usr/local/nginx/logs
start0cheng
·
2015-02-09 23:00
nginx
职场
休闲
日志切割
自动日志
关于使用keepalived后
nginx日志
中的健康日志清除方法
近期在ESX上部署了小站,使用lvs+keepalived负载均衡,发现nginx服务的日志里有大量的信息,看日志时很是痛苦,在nginx上想让方法不让它记录,结是我是没有找到。问了煮酒哥后,使用sed来删除它,于是乎在日志切割的脚本中使用它。呵,sed不是很熟,各位熟sed的欢迎拍砖! [root@svr120110827]#tail20110827.access.log 10.1.1.20-
start0cheng
·
2015-02-09 23:00
nginx
log
shell
Access
休闲
上一页
35
36
37
38
39
40
41
42
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他