NGINX日志

浅谈分布式消息技术 Kafka

Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx
爱编程厨师·2018-09-20 22:17

Filebeat +Redis+ELK处理Nginx日志系统

（一）简述：filebeat：具有日志收集功能，是下一代的Logstash收集器，但是filebeat更轻量，占用资源更少，适合客户端使用。redis：Redis服务器通常都是用作NoSQL数据库，不过logstash只是用来做消息队列。logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，serv
lqbyz·2018-09-20 20:53

LNMP架构 （2）

内容摘要默认虚拟主机Nginx用户认证Nginx域名重定向Nginx访问日志Nginx日志切割静态文件不记录日志和过期时间Nginx防盗链Nginx访问控制Nginx解析php相关配置Nginx代理一、
CN_SHzhaoyujie·2018-09-20 08:20

Linux Kafka 2.11-1.1.1 安装

基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx
波波happy·2018-09-14 16:01

日志切割 脚本集合 Tomcat日志切割 |Nginx日志切割|Mongo日志切割

##日志分割集中管理hosts:websbecome:yesvars:app:tomcat_log_splittasks:name:"{{app}}"script:/opt/tags/ansible/playbooks/log_scripts/{{app}}.sh{{ENV}}{{TIME}}hosts:servicesbecome:yesvars:app:service_log_splittas
lrm929·2018-09-14 10:35

Elastic+logstash+filebeat做Nginx日志分析

一、Elasticserach安装1、Installation(elastic6.3.2版本依赖javaJDK8)下载合适的版本：curl-L-Ohttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gztar-xvfelasticsearch-6.4.0.tar.gzcdelasticsearch
hjt353·2018-09-13 17:45

Nginx 日志分割

工作中Nginx日志基本为access_log，配置启动后就开始产生日志文件，日积月累的，这个日志文件会越来越大。
molaifeng·2018-09-12 19:56

logrotate切割nginx日志

logrotate切割nginx日志实践cat>/etc/logrotate.d/nginx<
jinhang_c·2018-09-12 15:46

一次怪异的业务卡顿排查过程

排查流程1，系统排查根据现场IT同事反馈异常出现比较集中到时段，进行系统状态查看：A，pinpoint查看后端应用GC和内存使用均正常；B，nginx日志中没有大
typuc·2018-09-09 00:47

导致nginx日志中request_time过大的原因

场景:查看nginx日志发现请求响应body为1500k左右和request_time为6s左右，导致请求超时无法获取正常数据。
阿諾.·2018-09-04 23:37

把nginx日志写入到logstash中

1.修改nginx日志格式vim/datas/soft/nginx/conf/nginx.conf将默认日志这段给注释掉改成json格式的log_formatjson'{"@timestamp":"$time_iso8601
Resines·2018-09-03 15:50

nginx日志监控模块

转载地址：http://www.linuxe.cn/post-171.htmlhttp://blog.itpub.net/27043155/viewspace-732984/nginx中文参考手册http://shouce.jb51.net/nginx/left.html在/etc/nginx/conf.d/default.conf的server段中添加状态监控设置项：状态监控，如下图：然后通过U
zjn199·2018-09-02 16:59

nginx日志模块详解

转载地址：http://www.jb51.net/article/52573.htmnginx中文参考手册http://shouce.jb51.net/nginx/left.html日志格式允许包含的变量注释如下：$remote_addr,$http_x_forwarded_for记录客户端IP地址$remote_user记录客户端用户名称$request记录请求的URL和HTTP协议$statu
zjn199·2018-09-02 15:04

GoAccess对Nginx日志分析完美分析

前言如果把运维看做是医生给病人看病，则日志就是病人对自己的陈述，很多时候医生需要通过对病人的描述中得出病人状况，是否严重，需要什么计量的药，什么类型的药。所以古人有句话叫对症下药，这个症就是病人的描述加医生的判断，在重一点的病在加上很多的化验。在医生看病时病人的描述和化验单上的数据对医生是非常重要的。同理日志在运维中的作用也是类似的，但非常不幸，日志在很多运维中被严重低估，直到磁盘空间不足的时候才
KJ_老君丶·2018-08-31 13:35

使用Docker快速部署ELK分析Nginx日志实践（二）

Kibana汉化使用中文界面实践一、背景笔者在上一篇文章使用Docker快速部署ELK分析Nginx日志实践当中有提到如何快速搭建ELK分析Nginx日志，但是这只是第一步，后面还有很多仪表盘需要配置，
weixin_33860147·2018-08-31 07:02

使用Docker快速部署ELK分析Nginx日志实践（二）

Kibana汉化使用中文界面实践一、背景笔者在上一篇文章使用Docker快速部署ELK分析Nginx日志实践当中有提到如何快速搭建ELK分析Nginx日志，但是这只是第一步，后面还有很多仪表盘需要配置，
·2018-08-31 00:00

ELK日志系统之使用Rsyslog快速方便的收集Nginx日志

原文链接：https://my.oschina.net/37Y37/blog/1936292常规的日志收集方案中Client端都需要额外安装一个Agent来收集日志，例如logstash、filebeat等，额外的程序也就意味着环境的复杂，资源的占用，有没有一种方式是不需要额外安装程序就能实现日志收集呢？Rsyslog就是你要找的答案！RsyslogRsyslog是高速的日志收集处理服务，它具有高
chongxue2401·2018-08-30 07:00

Flume + zookeeper + kafka收集Nginx日志

相关环境软件版本Centos3.10.0-862.el7.x86_64jdk1.8zookeeper3.4.10kafka1.1.0flume1.6.0HostIPc1192.168.1.200c1_1192.168.1.201c1_2192.168.1.202用户统一为hadoop前置操作各主机间启动ssh连接这一步至关重要,如果没有配置成功，会影响到hadoop,kafka集群之间的连接[ha
amoyiki·2018-08-26 00:00

redis做解藕（nginx日志上传至elasticsearch）

实验环境server1172.25.11.1elasticsearch、nginx、logstashserver2172.25.11.2redis、logstashserver3172.25.11.3kibanaserver3上安装kibanayuminstall-ykibana-4.5.1-1.x86_64.rpmvim/opt/kibana/config/kibana.yml/etc/init
qq_38622229·2018-08-25 19:34

使用Docker快速部署ELK分析Nginx日志实践

一、背景笔者所在项目组的项目由多个子项目所组成，每一个子项目都存在一定的日志，有时候想排查一些问题，需要到各个地方去查看，极为不方便，此前听说有ELK这种神器，搜索了一下，发现利用docker搭建似乎并不麻烦，于是进行了一番尝试，结果还比较顺利，将此过程完整记录下来，希望留给有需要的读者进行参考。笔者这次实践的过程当中参考了较多的文档与笔记，参考的链接地址有：DockerElK安装部署使用教程、D
·2018-08-25 00:00

使用php分析nginx日志统计接口情况

action=XXX的形式，所以公司运维的管理平台并不能满足需求，所以要自行处理nginx日志获取接口的情况了。
caohaoyu·2018-08-23 16:49

Filebeat收集json格式的nginx日志传给logstash

本文转自：http://blog.joylau.cn/2018/05/08/Filebeat-Nginx/Filebeat版本为5.3.0之所以使用beats家族的Filebeat来替代Logstash是因为Logstash实在太消耗资源了（服务器资源充足的土豪请无视）在官网下载Logstash有89M，而Filebeat才8.4M，由此可见一斑Logstash可以配置jvm参数，经过我本身的调试
蓝叶子Sheep·2018-08-22 15:25

nginx日志分析

本篇博文主要讲解nginx日志分析，日志的格式可以经过自定义以适用自己的需求。
任小为·2018-08-19 17:30

ELK海量日志分析平台-杨帅-专题视频课程

ELK海量日志分析平台—152人已学习课程介绍本课程涵盖ELK大型日志分析平台的完整流程，包括Logstash采集接入不同渠道的日志（Apache日志，Nginx日志，系统日志等等），ElasticSearch
djt_20180507·2018-08-16 13:51

Nginx日志切割

Tomcatnginxlog日志按天分割切割利用Linux自带的logrotate工具来实现按天切割日志.下方已centos7系统为例来实践讲解.原理Logrotate是基于CRON来运行的，其脚本是/etc/cron.daily/logrotate，日志轮转是系统自动完成的。每晚cron后台执行/etc/cron.daily/目录下的任务这会触发/etc/cron.daily/logrotate
漫然·2018-08-13 16:12

ubuntu安装nginx及其默认目录结构

sudoapt-getinstallnginxUbuntu安装之后的文件结构大致为：所有的配置文件都在/etc/nginx下，并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/nginx
qq_25987491·2018-08-10 14:59

Nginx出现403 forbidden

nginx访问时报403，于是查看nginx日志，路径为/var/log/nginx/error.log。
枫小Q·2018-08-10 12:43

分析nginx日志屏蔽攻击者ip

最近，我分析了一下日志，发现有同一个ip不断地请求我的短信接口，然后就写一个脚本来自动分析日志对这些IP进行屏蔽，本文介绍如何利用nginx屏蔽ip来实现防止攻击，当然也可以通过iptable来实现。首先，在nginx的安装目录下面,新建屏蔽ip文件，命名为blockip.conf，以后新增加屏蔽ip只需编辑这个文件即可，格式如下：deny165.91.122.67;再在nginx的配置文件ngi
运维人·2018-08-07 11:32

FastDFS学习与安装与坑

tracker192.168.75.145storage_1192.168.75.142storage_2192.168.75.146基本上问题都是404查阅问题基本上就是从nginx开始一路查日志查下去1.查看tracker下的nginx
Jesse_cool·2018-08-03 14:18

页面埋点&nginx日志采集

页面埋点&nginx日志采集采集页面（web容器：httpd/nginx负载均衡+apacheserver）日志采集服务器（nginx服务器）通过某个页面跳转到我们的页面；我们页面一渲染完成加载埋点的js
chenxiaokang97·2018-08-01 17:53

NGINX日志配置总结

前言本来准备讲解nginx和apache的日志的，但是个人不太推荐apache(纯属个人爱好)，这里就不介绍apache的日志了。作为一名程序员，比码代码还重要那么一点点的东西就是日志的分析和查询。下面列出常见日志及设置方法。配置文件nginx分access_log和error_log两种日志设置需要在nginx.conf中,默认通过源码包编译安装nginx目录应在/usr/local/nginx
·2018-07-29 00:00

Nginx目录文件列表显示

规划：1.准备通过web查询的nginx日志：/var/log/nginx2.准备通过web查看tomcat日志：/opt/tomca
老肖·2018-07-23 11:54

Nginx日志管理——每天定时自动保存Nginx日志文件

一、引言这个日志随着时间的增长，访问量越来越大的情况下，文件会越来越大。这个时候就需要我们把之前的日志做一个备份，然后用重新生成一个日志文件。如果这个工作量让每天人为去做，还得到半夜，估计没人愿意干这活。这个时候就有必要写一个定时任务，每天让系统自己去帮我操作，这样岂不是完美。二、实现思路shell脚本+定时任务+nginx信号控制，完成日志定时切割三、具体实现在你需要保存日志或者是其他目录，新建
IT贱男·2018-07-22 17:39

Elk+filebeat收集docker集群swarm中的nginx和tomcat容器的日志信息

前言：之前有说过elk收集nginx日志，现在来说一下收集容器集群的日志收集Elk的安装这里不在说了，上来直接怼，这里是elk的服务器：的服务状态：以及端口Logstash是主要的配置内容这里：如下input
tty之星·2018-07-20 19:27

Linux分析Nginx日志统计IP访问次数的shell脚本

假设我的nginx日志如下：140.205.201.39--[09/Apr/2015:06:43:45+0800]"\x00\x0E8\xC5;.
7B_coder·2018-07-19 23:39

005、Nginx的日志log_format

一、日志类型Nginx日志类型主要包含两部分：error_logaccess_logerror_log/var/log/nginx/error.logwarn;access_log/var/log/nginx
编程界的小学生·2018-07-13 15:39

logstash对nginx日志进行解析

logstash对nginx日志进行解析过滤转换等操作；此例中nginx日志提前配置为json格式配置可以用于生产环境，架构为filebeat读取日志放入redis，logstash从redis读取日志后进行操作
weilovepan520·2018-07-13 08:46

(六) Docker 修改容器的内容—— 容器 nginx 反向代理宿主机 tomcat

容器与宿主机的通信终于到修改容器内容的环节了方法一：修改容器并生成新的本地镜像安装vim使用该容器生成新镜像使用新镜像运行一个容器即可安装命令后新镜像占用存储空间变大了Docker的-v命令与目录挂载方案二：在宿主机中管理举个挂载nginx
bestcxx·2018-07-09 00:07

Linux nginx日志按天分割实例

Linuxnginx日志按天分割实例nginx的日志有个小缺点，日志文件一直就是一个，不会自动地进行切割，如果访问量很大的话，将导致日志文件非常大，不便于管理这就需要我们自己来实现了，按日期每天生产一个日志文件思路每天零点把默认日志文件改名为当天日期
qq_21683643·2018-07-08 22:07

默认虚拟主机、用户认证、Nginx域名重定向、Nginx访问日志、Nginx日志切割、静态文件不记录日志和过期时间、Nginx防盗链、Nginx访问控制、Nginx解析php相关配置、Nginx代理

一、Nginx默认虚拟主机在Nginx中也有默认虚拟主机，跟httpd类似，第一个被Nginx加载的虚拟主机就是默认主机，但和httpd不相同的地方是，它还有一个配置用来标记默认虚拟主机，也就是说，如果没有这个标记，第一个虚拟主机为默认虚拟主机。1、修改主配置文件[root@123~]#vim/usr/local/nginx/conf/nginx.conf//修改为以下内容#加入这行，意思是/us
iamfishhh·2018-07-06 11:07

Nginx的目录和配置语法

一、Nginx安装目录路径类型作用/etc/logrotate.d/nginx配置文件Nginx日志轮转，用于logrotate服务的日志切割/etc/nginx/etc/nginx/nginx.conf
SZStudy·2018-07-04 16:05

Windows下php curl调用本地url 499问题

查看nginx日志找了半天发现调用其他机器的正常，就是本地的不行。最后发现是PHP的fastcgi并发阻塞，在Linux下可以使用线程，但是Windows下的fastcgi不支持。
rong341233·2018-07-04 15:06

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

简介：Graylog相对于ELK是较为轻量级的日志管理平台Graylog官网：https://×××w.graylog.org/Graylog-server：Graylog接收来自后端各种应用程序的日志并提供Web访问接口GraylogCollectorSidecar：负责收集应用程序日志并发送至Graylog-serverElasticsearch：用于索引和保存接收到的日志MongoDB：负责
三和梁朝伟·2018-07-02 17:00

使用webalizer分析Nginx日志

使用webalizer分析Nginx日志一、webalizer简介webalizer是一个高效的、免费的web服务器日志分析程序。
long9617·2018-07-02 09:22

练习题

1、计算文件中每个单词的重复数量egrep-o"[a-zA-Z]+"/etc/passwd|sort|uniq-c2、Nginx日志access.log格式如下192.168.91.1--[01/Jul
LamChiu·2018-07-01 13:11

upstream timed out (110: Connection timed out) while reading response header from upstream解决办法

Nginx日志报错信息如下：2018/06/2917:19:42[error]8303#0:*30upstreamtimedout(110:Connectiontimedout)whilereadingresponseheaderfromupstream
bluce_ben·2018-06-29 17:24

PHP简单实现定时监控nginx日志文件功能示例

本文实例讲述了PHP简单实现定时监控nginx日志文件功能。
WhoAmMe·2018-06-28 14:25

nginx上传文件时413报错解决（Request Entity Too Large）

今天在测试同事在测试新机器ocr识别的时候提示上传图片失败，查看nginx日志发现报错如下：产生原因是因为客户端上传文件大小超过了nginx的限制（默认为1M）官方解释如下：http://nginx.org
Tyrant0532·2018-06-28 11:00

每天凌晨切割nginx日志

vim nginxLogRotate.sh#!/bin/bashlog_path=/data/log/nginxyesterday=$(date -d "yesterday" +%Y-%m-%d)mv ${log_path}/access.log ${log_path}/access_${yesterday}.logmv ${log_path}/error.log ${log_path}/erro
小白的希望·2018-06-22 16:25

Kafka史上最详细原理总结 ----看完绝对不后悔

基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx
微步229·2018-06-21 15:56
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他