日志统计

nginx日志IP统计

命令统计apache或nginx日志中访问最多的100个ip及访问次数，这个在以前做日志统计的时候经常用到awk'{print$1}'日志地址|sort|uniq-c|sort-n-k1-r|head-n100
yawei555·2015-07-13 15:07

nginx日志IP统计

命令统计apache或nginx日志中访问最多的100个ip及访问次数，这个在以前做日志统计的时候经常用到awk'{print$1}'日志地址|sort|uniq-c|sort-n-k1-r|head-n100
yawei555·2015-07-13 15:07

用mongodb存储日志

最近一直在考虑架构的事情，有一个问题依然困扰着我们这些做业务系统的，那就是日志以及日志统计。大概的问题如下：我们有很多模块，日志格式虽然类似但都写在各自的服务器和目录中。
shezjl·2015-07-07 21:00

Kafka实战－实时日志统计流程 - 哥不是小萝莉

简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打算为大家介绍Flume＋Kafka＋Storm的实时日志统计
哥不是小萝莉·2015-06-16 10:00

日志统计中的PV UV IP

我们在统计访问日志的时候，经常要提及到三个概念：UV  PV  IP,其中UV与IP的区别有时让初学者摸不着头脑，简单的聊一下这些概念： 一、Cookie、UV和IP的概念要区别UV和IP，就要先说到Cookie。Cookie（或Cookies）指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。Cookie中不但可以确认用户，还能包含计算机和浏览器的信
bestinfo1314·2015-06-05 11:04

日志统计中的PV UV IP

我们在统计访问日志的时候，经常要提及到三个概念：UVPVIP,其中UV与IP的区别有时让初学者摸不着头脑，简单的聊一下这些概念：一、Cookie、UV和IP的概念要区别UV和IP，就要先说到Cookie。Cookie（或Cookies）指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。Cookie中不但可以确认用户，还能包含计算机和浏览器的信息，所以一
bestinfo1314·2015-06-05 11:04

日志统计中的PV UV IP

我们在统计访问日志的时候，经常要提及到三个概念：UV  PV  IP,其中UV与IP的区别有时让初学者摸不着头脑，简单的聊一下这些概念： 一、Cookie、UV和IP的概念要区别UV和IP，就要先说到Cookie。Cookie（或Cookies）指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。Cookie中不但可以确认用户，还能包含计算机和浏览器的信
bestinfo1314·2015-06-05 11:04

Android学习能力之统计日志上传设计

1.日志统计和日志存储publicstaticvoidreco
feiyangxiaomi·2015-05-07 14:00

zabbix通过jmx监控tomcat， Nginx日志统计方案全过程，切割nginx和tomcat日志并删除指定天数前的日志记录

本文主要记录下给予python的nginx日志统计过程，主要原因是最近系统经常遭到未知程序的疯狂爬数据，虽然做了防爬机制，但是还是必须要找出是哪些IP访问次数比较多。
fuquanjun1013·2015-05-06 10:23

zabbix通过jmx监控tomcat， Nginx日志统计方案全过程，切割nginx和tomcat日志并删除指定天数前的日志记录

本文主要记录下给予python的nginx日志统计过程，主要原因是最近系统经常遭到未知程序的疯狂爬数据，虽然做了防爬机制，但是还是必须要找出是哪些IP访问次数比较多。
fuquanjun1013·2015-05-06 10:23

nginx访问日志统计shell脚本

#!/bin/bashif[$#-eq0];thenecho"Error:pleasespecifylogfile."exit0elseLOG=$1fiif[!-f$1];thenecho"Sorry,sir,Icant'tfindthisapacelogfile,plstryagain!"exit0fi###############################################
gruby·2015-03-23 22:00

记录我的第一个awk脚本-日志统计

项目中需要一个统计接口量的脚本，于是尝试着写了第一个awk脚本。过程不轻松，但是写完了觉得很爽。哈哈----------------------------------------------------------------------------------------------------------------------------------- ##################
z1041950008·2015-03-09 22:00

使用XSLT统计存储在XML中的日志信息

于是我照猫画虎，用XSLT实现了一个简易版的XML日志统计界面
北风其凉·2015-01-30 23:00

Linux sort uniq awk head 完成访问日志统计排序功能

我们开发时候经常会统计一些访问日志，访问日志中的url是海量的，并且好多是重复内容。以url为例，统计url中出现频率次数前5的url，并按出现次数的降序排序。linux命令：caturl.log|sort|uniq-c|sort-n-r-k1-t ''|awk-F '//' '{print$2}'现在来一一分析这些命令组合的含义。0）访问日志样例1) cat t1.log表示对data文件中的内
u012377333·2015-01-29 09:00

Shell 中常见的日志统计方法

前面我发布过"Hadoop兮，杀鸡别用牛刀，python+shell实现一般日志文件的查询、统计",需要结合python,可能还是有一定的门槛,现将shell部分剥离出来.举例一些最基本的日志统计方法.
水熊宝宝·2015-01-26 15:00

Storm官网上的各公司的使用介绍

原文链接下面选择一些国内的公司的情况进行介绍(原创翻译，持续更新ing..)淘宝网我们使用Storm来做一些实时的日志统计，从日志中抽取有用的信息。
damacheng·2015-01-04 16:00

Apache日志统计

Apache日志统计举例加些来了解一下如何统计Apache的访问日志，一般可以用tail命令来实时查看日志文件变化，但是各种的应用系统中的日志会非常复杂，一堆长度超过你浏览极限的日志出现在你眼前时，你会觉得非常无奈
97140·2015-01-03 21:00

Apache日志统计

Apache日志统计举例加些来了解一下如何统计Apache的访问日志，一般可以用tail命令来实时查看日志文件变化，但是各种的应用系统中的日志会非常复杂，一堆长度超过你浏览极限的日志出现在你眼前时，你会觉得非常无奈
lcgweb·2015-01-03 21:00

命令行下Apache日志统计举例

Apache日志统计举例加些来了解一下如何统计Apache的访问日志，一般可以用tail命令来实时查看日志文件变化，但是各种的应用系统中的日志会非常复杂，一堆长度超过你浏览极限的日志出现在你眼前时，你会觉得非常无奈
OSSIM·2014-12-20 09:00

Storm官网上的各公司的使用介绍

淘宝网 我们使用Storm来做一些实时的日志统计，从日志中抽取有用的信息。 日志是存在一个类似Kafka的持久化消息队列中(MetaQ，是
邢邢色色·2014-12-09 16:00

Awstats 安装（nginx）

Awstats是一个免费非常简洁而且强大有个性的网站日志分析工具，昨天领导问最近网站访问情况，虽然用了各种命令把日志统计出来了，但是非常麻烦，以前只是在apache上安装过awstats，没有在nginx
kingtigerhu·2014-12-03 17:21

Awstats 安装（nginx）

Awstats是一个免费非常简洁而且强大有个性的网站日志分析工具，昨天领导问最近网站访问情况，虽然用了各种命令把日志统计出来了，但是非常麻烦，以前只是在apache上安装过awstats，没有在nginx
kingtigerhu·2014-12-03 17:21

Nginx日志统计方案全过程

本文主要记录下给予python的nginx日志统计过程，主要原因是最近系统经常遭到未知程序的疯狂爬数据，虽然做了防爬机制，但是还是必须要找出是哪些IP访问次数比较多。
twypx·2014-11-29 13:00

linux 日志统计

cataccess.log|awk'{print$1}' | uniq-c  解释： cat将日志读入，传给awk， awk读取每行的第一列（$1）. awk-F","'{print$1}'按照字符逗号分割字符串。显示第一个。 uniq-c标志为相同的只输出一次，同时统计总数。 wc-l统计总得行数 sort-n由大到小进行排列。   
哭你吃完·2014-11-14 09:00

基于Hadoop+Hive+Sqoop+HBase+Zookeeper+MySql日志统计分析项目

1，项目背景该项目是一个本地化独立的B2C商城，为应对商城每天访问量增大，日志量增大，该商城的决策者为了拓宽该商城在本地的发展，占领本地市场的更多份额，委托我司对该公司开发出一套分析该商城用户每天上网日志行为的分析项目，分析出一些核心的业务相关指标，而这些指标是无法从第三方工具中获得的，这样有利用决策者对商城的运营指定更加合理化的策略。因为商城是一个本地化的商城，不像淘宝，京东这类大商城，面向全国
EthanLoveHadoop·2014-11-07 10:30

AWStats的千万级日志解决方案：日报表 databasebreak=day + Canlendar.php 日历浏览

你完全不用耐心的看完后面所有的说明，awstats在进行日志统计时，命令行统计增加：-databasebreak=day报表输出时增加：&databasebreak=day&day=DD即可按天进行统计
ihanxiao2100·2014-10-17 18:00

AWStats的千万级日志解决方案：日报表 databasebreak=day + Canlendar.php 日历浏览

你完全不用耐心的看完后面所有的说明，awstats在进行日志统计时，命令行统计增加：-databasebreak=day 报表输出时增加：&databasebreak=day&day=DD 即可按天进行统计
ihanxiao2100·2014-10-17 18:00

nginx 日志中记录http响应头

阅读更多背景：一个很简单的静态下载站点，每个文件都比较大，一般为30M+，现在想通过日志统计每个文件的下载完整情况。初步计划是在nginx日志中除了将下载的字节数之外，还要将原始文件的大小记录下来。
qq85609655·2014-09-28 15:00

nginx 日志中记录http响应头

       背景：一个很简单的静态下载站点，每个文件都比较大，一般为30M+，现在想通过日志统计每个文件的下载完整情况。
qq85609655·2014-09-28 15:00

日志

http服务器有http日志管道有管道日志每次请求的日志性能优化的日志异常日志出错日志统计而添加的日志crontab脚本出错信息重定向日志
pitttttttt·2014-09-27 21:00

LVM 扩容

有台配置好的虚拟机，一直是用来做日志统计，这天连接上去，才发现这台机器当时是自己在本机上玩的，没想到会用在真实工作环境下，现在空间快不够了，需要给这台虚拟机扩下容量了，可是在线扩容我还真没高过，没办法，
CdTech·2014-08-15 09:36

LVM 扩容

有台配置好的虚拟机，一直是用来做日志统计，这天连接上去，才发现这台机器当时是自己在本机上玩的，没想到会用在真实工作环境下，现在空间快不够了，需要给这台虚拟机扩下容量了，可是在线扩容我还真没高过，没办法，
CdTech·2014-08-15 09:36

使用go简单实现从IIS日志统计web的访问量

packagemainimport(    "bufio"    "fmt"    "io"    "os"    "strings")varUrlMap=make(map[string]int)funcmain(){    inputFile,err:=os.Open("ex14060609.log")    iferr!=nil{        fmt.Println(err)    }   
学思·2014-06-07 08:00

linux日志统计文件命令收集

apache日志分析可以获得很多有用的信息，现在来试试最基本的，获取最多访问的前10个IP地址及访问次数。既然是统计，那么awk是必不可少的，好用而高效。命令如下：awk'{a[$1]+=1;}END{for(iina)printf("%d%s\n",a[i],i);}'日志文件|sort-n|tail首先用awk统计出来一个列表，然后用sort进行排序，最后用tail取最后的10个。以上参数可以
jinshuaiwang·2014-05-30 15:00

Linux运维常用知识（3）

Apache日志统计举例参考：http://loveyan.blog.51cto.com/829079/745164     http://blog.sina.com.cn/s/blog_79bc8e830101m84w.html
fuquanjun1013·2014-05-27 20:42

日志统计scribe安装简介

在centos 6安装，操作步骤如下： 1、gcc和gcc-c++ 系统有gcc，版本不要太老，至少3.4.6版本是不行的，我后来用的gcc是4.1.2 2、ruby（不知版本有啥要求，我用的1.8.5） 包括ruby和ruby-devel 3、python（不知版本有啥要求，我用的2.4.3） 包括python和python-devel
lonelone11418485·2014-05-27 15:00

Oracle-No.02 数据库设计可扩展性研究

背景：在统计分析项目开发过程中，需要分析nginx日志统计用户请求，将nginx日志信息入库，在起初设计表结构的时候，考虑不周全，录入了一个月的数据之后，领导改需求，需要录入一个新的字段数据，对数据库表结构进行修改
蓝汀华韶·2014-05-27 14:00

使用shell脚本分析网站日志统计PV、404、500等数据

下面的脚本能统计出网站的总访问量，以及404,500出现的次数。统计出来后，我们可以结合监控宝来进行记录，进而可以看出网站访问量是否异常，是否存在攻击，一目了然。还可以根据查看500出现的次数，进而判断网站程序是否出现异常。复制代码代码如下:#!/bin/bash#purpose:countnginxorapacheorotherwebserverstatuscodeusingjiankongba
·2014-05-27 09:28

命令行下Apache日志统计举例

Apache日志统计举例加些来了解一下如何统计Apache的访问日志，一般可以用tail命令来实时查看日志文件变化，但是各种的应用系统中的日志会非常复杂，一堆长度超过你浏览极限的日志出现在你眼前时，你会觉得非常无奈
李晨光·2014-05-21 17:04

命令行下Apache日志统计举例

Apache日志统计举例加些来了解一下如何统计Apache的访问日志，一般可以用tail命令来实时查看日志文件变化，但是各种的应用系统中的日志会非常复杂，一堆长度超过你浏览极限的日志出现在你眼前时，你会觉得非常无奈
李晨光·2014-05-21 17:04

部署Awstats统计Http访问日志

部署Awstats统计Http访问日志说明：  Awstats日志统计工具可统计页面访问量、访问者地区、文件点击数排名、搜索关键词、浏览器类型等，特点是在24小时之内，不重复统计同一个客端的访问。
zhang书虫·2014-04-19 23:33

奇虎360运维工程师面试题

5、写一个脚本进行nginx日志统计，得到访问ip最多的前10个(nginx日志路径：/home/logs/nginx/d
zl624867243·2014-04-12 03:00

奇虎360运维工程师面试题

5、写一个脚本进行nginx日志统计，得到访问ip最多的前10个(nginx日志路径：/home/logs/nginx/d
叱诧少帅·2014-04-12 03:00

Hadoop MapTask/ReduceTask各阶段耗费时间的测试

下面是通过日志统计出的各个细分阶段所用的时间：每个TaskTracker都使用一个队列保存JobTracker分发过来的Task，我们将一个Task出队列的时间作为时间原点
Flood_Dragon·2014-04-04 11:00

Linux下安装awstats日志统计分析

1.下载安装cd/data/softwarewgethttp://prdownloads.sourceforge.net/awstats/awstats-7.0-1.noarch.rpm 2.开始配置安装依赖包：yum-yinstallperl-libwww-perl.noarchperl-CPAN rpm-ivhawstats-7.0-1.noarch.rpmcd/usr/local/awsta
神神的蜗牛·2014-03-27 10:00

nginx获取用户所在地区 - ttlsa教程系列之nginx

在使用nginx负载均衡或者做日志统计可能会需要获取用户的地区名,GeoIP完美的解决了这个需求,可以使用GeoIP实现基于地区的负载均衡, 使得不同地区访问不同服务器,达到负载均衡的目的;也可以使用GeoIP
小运·2014-03-23 00:00

nginx获取用户所在地区 - ttlsa教程系列之nginx

在使用nginx负载均衡或者做日志统计可能会需要获取用户的地区名,GeoIP完美的解决了这个需求,可以使用GeoIP实现基于地区的负载均衡, 使得不同地区访问不同服务器,达到负载均衡的目的;也可以使用GeoIP
小运·2014-03-23 00:00

Hadoop学习第一章_初识Hadoop

软件基金会开发的分布式计算平台 —核心—>HDFS(分布式文件系统)和MapReduce（Google MR开源实现）  作用：     有效存储和管理大数据应用：FaceBook  存储内部的日志拷贝，数据挖掘和日志统计
qiyuexuel·2014-02-11 16:00

Linux下简单的安全日志统计脚本

每次整理安全日志都很麻烦，简单的编辑了一个脚本，实现的是统计每月攻击总数，每种攻击类型总数，以及攻击最高的10个ip，并记录在一个excel文档里。恳请各位大神指正日志形式如下：涉及到的客户敏感信息进行了处理以下为具体解释：#!/bin/bashread-p"pleaseinputthepathofyourlogfiles,TheDefaultiscurrentpath.(Warning:Dono
阿蒙爱吹牛·2014-01-13 20:59

Linux下简单的安全日志统计脚本

每次整理安全日志都很麻烦，简单的编辑了一个脚本，实现的是统计每月***总数，每种***类型总数，以及***最高的10个ip，并记录在一个excel文档里。恳请各位大神指正日志形式如下：涉及到的客户敏感信息进行了处理以下为具体解释：#!/bin/bashread-p"pleaseinputthepathofyourlogfiles,TheDefaultiscurrentpath.(Warning:D
阿蒙爱吹牛·2014-01-13 20:59
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他