日志统计

GeekBand C++系统设计与实践 第一周

1.系统设计介绍2.系统设计七剑客同步网络数据库分布式性能估算面向对象案例社交网站信息流日志统计网络爬虫电商产品页面1）Concurrency（并发）Threadvs.Process一个进程拥有独立的内存单位
hui1429·2016-08-01 22:28

第一章 微服务架构实践

ribbon（这里我不会使用ribbon去做，而是自己来定义服务路由，在后续使用springcloud的时候会使用ribbon做路由和过滤）服务通信：retrofit、okhttp文档输出：swagger日志统计
赵计刚·2016-05-28 20:00

iOS 注册进程之间的通知

最近开发中为了方便自己测试，准备弄个简单业务错误日志统计。由于只是测试用，况且出现我认为可能错的情况几率很小。想在不改变现有代码的情况下，直接获取NSLog内容。
JamesYu·2016-05-12 23:07

基于Rotated Log的日志统计

RotatedLog简介    Rotatedlog是linux支持日志文件自动转储和重命名的机制。当需要限制每个日志文件大小，或者需要周期地统计并记录日志的时候，就是rotatedlog机制大显身手的好时机。RotatedLog的使用和配置    Rotatedlog的配置文件都是在/etc/logrotate.d里面，它本身依赖于logrotate命令的执行。logrotate自身作为一个日常
存储之厨·2016-04-30 21:03

shell 分析 nginx 日志统计

1.统计ip访问量前10的ip地址 cataccess.log|awk'{print$1}'|sort|uniq-c|sort-nr|head-n102.查看当天ip访问量统计 cataccess.log |grep"21/Apr/2016"|awk'{print$1}'|sort|uniq-c|sort-nr3.查看访问前10的页面统计  cataccess.log|grep"21/Apr/20
JamesLee86·2016-04-21 15:02

shell 分析 nginx 日志统计

1.统计ip访问量前10的ip地址cataccess.log|awk'{print$1}'|sort|uniq-c|sort-nr|head-n102.查看当天ip访问量统计cataccess.log|grep"21/Apr/2016"|awk'{print$1}'|sort|uniq-c|sort-nr3.查看访问前10的页面统计cataccess.log|grep"21/Apr/2016"|a
JamesLee86·2016-04-21 15:02

【千里码】访客统计

每一个网站都会根据访客日志统计访客数据，比如UV。UV能够回答一个关键的市场营销问题：“到底有多少人（潜在客户）看到了你发布的信息（即网站）。下面根据题目给出的某购物网站访问日志，统计当天该网站UV。
a342500329a·2016-04-04 12:00

Android技术归档

基于目前我主要的技术领域在Android上，以后关于Android的开源代码都会归档到https://github.com/devilWwj/Android-Tech主要是一些工作中比较实用的Demo和技术，比如crash日志统计
wwj_748·2016-04-01 10:00

nginx日志统计分析

 本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析，具体如下：1，列出当天访问最多次数的ip地址cut-d--f1/usr/local/nginx/logs/20160329/access_2016032913.log|uniq-c|sort-rn|head-20 [root@httpservera 20160329]# cut -d- -f 1 /usr/local
lqbyz·2016-03-29 14:43

nginx日志统计分析

本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析，具体如下：1，列出当天访问最多次数的ip地址cut-d--f1/usr/local/nginx/logs/20160329/access_2016032913.log|uniq-c|sort-rn|head-20[root@httpservera 20160329]# cut -d- -f 1 /usr/local/n
lqbyz·2016-03-29 14:43

SeciLog 1.24 发布，优化了搜索，增加了tomcat多行处理等

   日志分析软件SeciLog1.24发布，完善了日志搜索功能，增加实时日志统计图表，日志分类统计，tomcat多行处理等功能。
赛克蓝德·2016-03-24 11:00

Flume＋Kafka＋Storm的实时日志统计

在整合这套方案的时候，项目组也是经过一番讨论，在讨论中，观点很多，有人认为直接使用Storm进行实时处理，去掉Kafka环节；也有认为直接使用Kafka的API去消费，去掉Storm的消费环节等等，但是最终组内还是一致决定使用这套方案，原因有如下几点：业务模块化功能组件化我们认为，Kafka在整个环节中充当的职责应该单一，这项目的整个环节她就是一个中间件，下面用一个图来说明这个原因，如下图所示：整
LW_GHY·2016-03-18 22:00

IT运维思想

公司it运维从以下几大方面进行把控即：成本控制网站架构设计和优化批量部署批量管理监控预警流量统计日志统计分析自动化智能化具体体现为运维三大层面：运维制度、运维规范、运维流程！
tantaishan·2016-03-17 14:44

淘宝大秒系统设计详解

经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500
IXHONG·2016-03-12 19:01

网站日志统计案例分析与实现

一、Web日志包含着网站最重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值等。一般中型的网站（10w的PV以上），每天会产生1G以上的Web日志文件。大型或超大型的网站，可能每小时就产生10G的数据量。对于日志的这种规模的数据，用Hadoop进行日志分析，是最合适不过了。二、目录Web日志分析概述需求分析：KPI指标设计算法模型：Hadoop并行算法架构设
LW_GHY·2016-03-11 23:00

淘宝大秒系统设计详解

经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500
IXHONG·2016-03-11 10:00

淘宝大秒系统设计详解

经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500
IXHONG·2016-03-11 10:00

淘宝大秒系统设计详解

经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500
季枫·2016-03-11 09:00

淘宝大秒系统设计详解

经过日志统计，前端系统双1
csdn_csdn__AI·2016-03-09 00:00

Linux 访问日志统计某个字段并排序功能

catt.log|grep过滤条件|awk-F"[:|]" '{print$1}'| sort|uniq-c|sort-k1-n-r[:|]表示：|都是分隔符$1表示通过分隔符隔开之后你要统计的字段所在位置 经过uniq-c处理之后的数据格式形如"2data"，第一个字段是数字，表示重复的记录数；第二个字段为记录的内容。我们将对此内容进行排序。sort-k1表示对于每行的第一个字段进行排序，这里即
yangzhenzhen·2016-01-28 12:00

快网CDN日志统计脚本

公司使用的快网的CDN，但是快网本身并不提供日志的分析统计，我这里还没有用elk，无奈只能先使用shell对日志进行分析统计，作为运维组对业务情况的一个大致的了解。脚本是对前一天的CDNLOG进行解压缩分析，最后将结果按类输出到指定目录，再将这些结果打包扔回CDNLOG目录，因为CDNLOG目录是要上传云存储的，一并保存。其实还有一个动作，是将这些内容作为参数传给python脚本给一个监控系统，出
radish1027·2016-01-25 15:54

快网CDN日志统计脚本

公司使用的快网的CDN，但是快网本身并不提供日志的分析统计，我这里还没有用elk，无奈只能先使用shell对日志进行分析统计，作为运维组对业务情况的一个大致的了解。脚本是对前一天的CDNLOG进行解压缩分析，最后将结果按类输出到指定目录，再将这些结果打包扔回CDNLOG目录，因为CDNLOG目录是要上传云存储的，一并保存。其实还有一个动作，是将这些内容作为参数传给python脚本给一个监控系统，出
radish1027·2016-01-25 15:54

shell 日志统计常用脚本

查看web访问量前十的ipawk '{print $1}' access.log |sort | uniq -c | sort -nr | head -n 10查看某一天访问量前十IPcat access.log | grep "07/Nov/2013" | awk '{print $1}' |  uniq -c | sort -nr | head -n 1查看访问量前十页面awk '{print
千_面·2015-11-14 16:43

shell 日志统计常用脚本

查看web访问量前十的ipawk '{print $1}' access.log |sort | uniq -c | sort -nr | head -n 10查看某一天访问量前十IPcat access.log | grep "07/Nov/2013" | awk '{print $1}' |  uniq -c | sort -nr | head -n 1查看访问量前十页面awk '{print
千_面·2015-11-14 16:43

LVM在线扩容

有台配置好的虚拟机，一直是用来做日志统计，这天连接上去，才发现这台机器当时是自己在本机上玩的，没想到会用在真实工作环境下，现在空间快不够了，需要给这台虚拟机扩下容量了，可是在线扩容我还真没高过，没办法，
·2015-11-12 09:18

logcat保存当前应用程序的日志并上传服务器或指定邮箱

给大家分享一个项目中用到的日志统计并提交服务器的日志工具类.通过过得当前app的PID，采用命令行的方式实用logcat工具过滤日志。
·2015-11-11 19:24

Apache日志分析

Apache日志统计举例 加些来了解一下如何统计Apache的访问日志，一般可以用tail命令来实时查看日志文件变化，但是各种的应用系统中的日志会非常复杂，一堆长度超过你浏览极限的日志出现在你眼前时
·2015-11-11 08:31

Linux中根据访问日志统计访问量最高的前N个IP

   前段时间面试中被问到如上问题，日常不怎么注意积累，以此谨记。 访问IP 页面[nxuser@im440-zh test]$ vi log 135.252.172.181 page1 136.252.172.182 page1 135.252.172.181 page2 135.252.172.183 page1 136.252.172.184
·2015-11-10 23:43

【原创】利用Windows系统日志统计员工每天上下班考勤时间

利用Windows系统日志统计员工每天上下班考勤时间（命令行参数为统计月份）： using System; using System.Collections.Generic; using System.Linq
·2015-11-09 12:50

DevExpress控件之：ChartControl 动态绑定数据

private void BindData(ViewType vt) { chartControl1.Series.Clear(); //Series series1 = new Series("日志统计
·2015-11-08 16:34

jquery 源码学习（*）

最近在做日志统计程序，发现对方的程序是在Jquery基础上进行开发的，而公司的网站的框架是prototype。
·2015-11-08 09:59

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（故障篇）

6、问题及解决方案1.问题描述：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicable问题原因：默认lib为32位,不支持64位。解决办法：重新编译64位库-请注意在jdk1.8上会编译出错#yuminstallcmakelzo
linuxblind·2015-11-04 19:40

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（Sqoop篇）

5、Sqoop安装配置在rmanager上操作#tar-zxfsqoop-1.4.5.bin__hadoop-2.5.0.tar.gz-C/var/data/#cd/var/data/;mvsqoop-1.4.5sqoop  ##这里的sqoop是编译后的版本#mvsqoop/conf/sqoop-site-template.xmlsqoop/conf/sqoop-site.xml#cp/opt/
linuxblind·2015-11-04 19:50

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（Hbase篇）

4、hbase集群安装配置在namenode1上操作#tar-zxfhbase-0.98.9-hadoop2-bin.tar.gz-C/var/data/#cd/var/data/;mvhbase-0.98.9hbase#vim/etc/profile   ##配置环境变量#hbasepathexportHBASE_HOME=/var/data/hbaseexportPATH=$PATH:$HBA
linuxblind·2015-11-04 19:07

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（Hive篇）

3、Hive安装配置3.1安装MySQL在datanode5上安装MySQL#yum-yinstallmysql-servermysql#mysqlmysql>grantallprivilegeson*.*tohive@'10.40.214.%'identifiedby"hive";mysql>flushprivileges;3.2安装hive#tar-zxfapache-hive-0.13.1-
linuxblind·2015-11-04 19:06

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（Hive篇）

3、Hive安装配置3.1安装MySQL在datanode5上安装MySQL#yum-yinstallmysql-servermysql#mysqlmysql>grantallprivilegeson*.*tohive@'10.40.214.%'identifiedby"hive";mysql>flushprivileges;3.2安装hive#tar-zxfapache-hive-0.13.1-
linuxblind·2015-11-04 19:06

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（hadoop篇）

Hadoop集群安装部署与配置(2015-01-15)1、集群环境说明主机列表说明：下文中蓝色部分为实际的执行命令；红色部分是重要的配置信息；”##”后为注释a.由于hadoop官网提供的安装包里的库文件默认是32位的，需要自编译为64位 sqoop-1.4.5当前不能支持hadoop-2.5.0，所以也需要手动编译 需要关闭防火墙和selinuxb.所需软件的版本：hbase-0.98.9-ha
linuxblind·2015-11-04 19:32

awstats在lighttpd下的安装配置

awstats在lighttpd下的安装配置 笔记 本人对perl一窍不通,为了awstats,捣鼓了半天,特记录如下 awstats是一个很好用的站点日志统计工具, 本身是用perl实现的, lighttpd
·2015-11-02 17:33

通过jQuery源码学习javascript（一）

  序   　　最近在做日志统计程序，发现对方的程序是在Jquery基础上进行开发的，而公司的网站的框架是prototype。
·2015-11-01 11:46

Android logcat保存当前应用程序的日志并上传服务器或指定邮箱

分享一个项目中用到的日志统计并提交服务器的日志工具类. 通过过得当前app的PID，采用命令行的方式实用logcat工具过滤日志。
·2015-10-31 09:19

Hadoop项目开发笔录

.步骤   注：点击链接可直接跳到指定位置 Hadoop社区版集群的搭建 hive的安装部署 sqoop的安装部署 hbase和zookeeper的安装和部署 网站日志统计案例分析与实现
·2015-10-30 13:18

Awstats 7.1 Beta 发布，Web 日志统计和分析

Awstats 在本月17日时发布了 7.1 Beta 版本，该版本改进内容： New features/improvements: - Update translations. - Update browsers list. - Add example of nginx setup. - Add some patches from debian package. - Rename d
·2015-10-30 13:11

shell统计日志

  #nginx日志统计独立ip的个数： awk '{print $1}' /path-to-log-dir/access.log | sort | uniq | wc -l  
·2015-10-21 10:06

数据分析和R语言的那点事儿_1

首先，数据分析是一个非常庞杂的职能，也许岗位抬头均为数据分析师的两人，做的事情却大不相同——比如使用hadoop做日志统计和使用Excel处理报表，这简直是两个领域，相互之间的职能了解，
张大脸·2015-10-10 11:00

Hadoop分析tomcat访问日志

今天照着《hadoop实战》写了个小例子，解析tomcat日志统计各个浏览器的访问次数 Java代码  package com.ice.stat;    import java.io.IOException
m635674608·2015-09-14 00:00

ObjC Runtime 黑魔法 — Method Swizzling

适用情境  项目中大量控制器需要在载入时进行日志统计或进行类似的处理。如果直接往所有控制器中进行代码编写，会产生大量的重复的代码，降低了代码后期的可读性，不利于维护。
Herbert77·2015-09-10 15:00

ObjC Runtime 黑魔法 — Method Swizzling

适用情境  项目中大量控制器需要在载入时进行日志统计或进行类似的处理。如果直接往所有控制器中进行代码编写，会产生大量的重复的代码，降低了代码后期的可读性，不利于维护。
Herbert77·2015-09-10 15:00

nginx日志分割处理以及分析

在很多时候，我们会非常关注网站的访问量，比如网站的日PV是多少、网站某个功能上线之后点击量是多少，像这些东西都是需要从web容器中的访问日志统计出来的，下面我们看一下如何在nginx中统计网站的访问信息
独钓渔·2015-08-26 16:00

kafka实时日志处理

简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打算为大家介绍Flume＋Kafka＋Storm的实时日志统计
lgscofield·2015-07-29 10:00

Kafka实战－数据持久化 - 哥不是小萝莉

我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《Kafka实战－KafkaCluster》一文给大家分享了Kafka集群的搭建部署，让大家掌握了集群的搭建步骤，《Kafka实战－实时日志统计流程
哥不是小萝莉·2015-07-15 06:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他