日志统计

网站访问日志统计分析

场景用户使用ECS搭建网站，网站的访问日志(Nginx,Apache访问日志)收集到阿里云日志服务中供查询。为了从访问日志中挖掘出更多价值，日志服务提供了一个docker镜像，用于实时统计和展示网站访问的一系列指标,例如PV，UV，延时，地理，状态码，爬虫，网络流量等指标。指标PV分别以5分钟、1小时、1天为统计周期，统计每个周期内的日志总数。UV分别以1小时、1天为统计周期，统计每个周期内的IP
weixin_33875839·2020-07-12 08:04

用mongodb存储日志

最近一直在考虑架构的事情，有一个问题依然困扰着我们这些做业务系统的，那就是日志以及日志统计。大概的问题如下：我们有很多模块，日志格式虽然类似但都写在各自的服务器和目录中。
sandysong28·2020-07-11 22:04

网站日志统计案例分析与实现

一、Web日志包含着网站最重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值等。一般中型的网站（10w的PV以上），每天会产生1G以上的Web日志文件。大型或超大型的网站，可能每小时就产生10G的数据量。对于日志的这种规模的数据，用Hadoop进行日志分析，是最合适不过了。二、目录Web日志分析概述需求分析：KPI指标设计算法模型：Hadoop并行算法架构设
ronmy·2020-07-11 22:26

蓝桥杯2018JAVA_B省赛真题详解

第几天题目描述解题思路第二题：方格计数题目描述解题思路第三题：复数幂题目描述解题思路第四题：测试次数题目描述解题思路第五题：快速排序题目描述解题思路第六题：递增三元组题目描述解题思路第七题：螺旋折线题目描述解题思路第八题：日志统计题目描述解题思路第九题
自由学习一门语言·2020-07-11 21:51

linux日志分析软件goaccess安装，并实时更新监控

20170729002319一、安装依赖1、最终日志统计时显示IP地理位置：yuminstall-yGeoIP
test\\·2020-07-11 21:40

ubuntu 安装网关 kong 和 PostgreSQL数据库的安装

API-Gateway方便客户端维护–每个请求方不用管理多个apiurl，统一访问api-gateway即可接口重构时调用方不须了解接口本身等拆分和聚合客户端无须关心接口协议统一权限控制、接口请求访问日志统计安全
fengxiaolu311·2020-07-11 05:29

使用Filter统计Java(J2EE)的web程序http请求响应时间

在网站性能的相关工作中，一个重要的方面是有一定的监控和日志统计，然后对这些数据进行分析，知道什么时候慢了，慢在哪里，然后才可以进行有针对性的性能优化工作；这里，80/20准则是非常适用的，我所见过的大部分情况都是约
baitiandeye·2020-07-11 02:51

Web服务器日志统计分析完全解决方案 （1）

摘要：对于所有的ICP来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统计和分析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可少的。通过对Web服务器的日志文件进行分析和统计，能够有效掌握系统运行情况以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。本文对Web服务器日志分析的原理和技术进行讨论。文章相关软件：webalizerhtt
豹先生_MR-BAO·2020-07-10 20:34

web服务器日志分析

转自：Web服务器日志统计分析完全解决方案管理Web网站不只是监视Web的速度和Web的内容传送，它要求不仅仅关注服务器每天的吞吐量，还要了解对这些Web网站的外来访问，了解网站各页面的访问情况，根据各页面的点击频率来改善网页的内容和质量
jessiehjhj·2020-07-10 18:37

2018年第9届蓝桥省赛真题

6.标题：递增三元组7.标题：螺旋折线8标题：日志统计9标题：全球变暖1.标题：第几天2000年的1月1日，是那一年的第1天。那么，2000年的5月4日，是那一年的第几天？注意：需要提交的是
奇迹是执着的人创造的·2020-07-10 17:23

2018年第九届蓝桥杯【C++省赛B组】【第八题：日志统计】——附解题代码

蓝桥杯历届题目及解析汇总（附思路及代码）【点击此进入】蓝桥杯，ACM算法学习【文档】【视频】大放送【点击此进入】第八题标题：日志统计小明维护着一个程序员论坛。
广海_小疯疯丶·2020-07-09 22:09

Android 设备唯一标识生成方式

IMEI一般作手机的唯一标识，用于服务端日志统计，数据分析。但是
BestWZR·2020-07-09 05:27

日志统计

双指针#includeusingnamespacestd;#definexfirst#defineysecondtypedefpairPII;constintN=100005;intn,d,k;PIIrecords[N];intcnt[N];boolst[N];intmain(){cin>>n>>d>>k;for(inti=0;i=d){cnt[records[j].y]--;j++;}if(cn
再敲亿行·2020-07-08 22:41

百度统计API的使用

只能使用第三方的日志统计了，由于之前用过一点点的百度统计，所以本平台使用百度统计来进行日志分析。但是百度不提供数据图线给开发者使用，只能通过其TONGJIAPI对数据进行抓取。
weixin_30456039·2020-07-08 13:33

Android 冷启动之 时间优化

文章目录应用启动速度视觉优化启动主题优化1.默认情况2.透明主题优化3.设置闪屏图片主题代码优化冷启动耗时统计adb命令统计系统日志统计代码优化Application优化闪屏页业务优化广告页优化优化效果启动窗口总结参考应用启动速度一个应用
zq_Hero·2020-07-08 10:53

Kafka Stream maven WordCount实例

我们打算设计一个接口统计系统，根据日志统计出来具有高延时的接口，以及错误信息等．开始打算使用Spark来做，后来得知Kafka中提供了这个功能，叫做KafkaStream,基本的流处理已经能够实现了．于是就打算直接使用
AlstonWilliams·2020-07-07 11:45

SpringBoot整合Logstash,实现日志统计

SpringBoot整合Logstash一.ELK简介ELK是Elastic公司的三个组件,他们三个配合实现日志收集.ElasticSearch:用于存储日志信息;Logstash:用于收集、处理和转发日志信息;Kibana:提供可视化的Web界面.二.ELK环境安装有关ELK安装请参考我之前的教程.Windows下Logstash安装:https://blog.csdn.net/syc00066
一一哥Sun·2020-07-06 18:13

性能工具之linux常见日志统计分析命令

文章目录引言Tomcat统计请求响应时间Nginx统计请求和后台服务响应时间AWK简介使用场景举例浏览器类型统计发现系统存在的问题状态码相关统计追查谁在盗链网站图片IP相关统计响应页面大小相关统计PV相关统计页面响应时间相关统计蜘蛛抓取统计小结引言在上文中，我们已经详细介绍linux三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在Tomcat和Nginxaccess日志
zuozewei·2020-07-06 14:20

淘宝大秒系统设计详解

经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500
weixin_33768481·2020-07-05 22:08

iOS Crash闪退日志的捕获和上传至服务器

现在有许多的第三方崩溃日志统计服务sdk，如：Bugtags，腾讯的Bugly，友盟等。这些服务商提供了非常便捷的集成方式。关于如何使用这些工具，请看以上的官网就可以，
架构小生·2020-07-05 11:39

蓝桥杯2018省赛:日志统计(双指针，尺取法)

[蓝桥杯2018初赛]日志统计Description小明维护着一个程序员论坛。现在他收集了一份"点赞"日志，日志共有N行。其中每一行的格式是：tsid。表示在ts时刻编号id的帖子收到一个"赞"。
江湖不信眼泪^·2020-07-05 10:23

最全的nginx日志统计分析

统计PV,UV数统计所有的PV数cataccess.log|wc-l统计当天的PV数cataccess.log|sed-n/`date"+%d\/%b\/%Y"`/p|wc-l统计指定某一天的PV数cataccess.log|sed-n'/20\/Aug\/2019/p'|wc-l根据访问IP统计UVawk'{print$1}'access.log|sort|uniq-c|wc-l统计指定某一天访
咻一咻·2020-07-05 06:00

学习使用VMware harbor搭建docker镜像仓库

Harbor是一个企业级的DockerRegistry，可以实现images的私有存储和日志统计权限控制等功能，并支持创建多项目(Harbor提出的概念)，基于官方RegistryV2实现。
sjyu_金色年华·2020-06-30 10:54

淘宝秒杀系统内幕

经过日志统计，前端系统双1
雪峰庙·2020-06-30 03:16

2018 第九届蓝桥杯省赛总结 + 解题报告（C语言B组）

1.第几天2.明码3.乘积尾零4.测试次数5.快速排序6.递增三元组7.标题：螺旋折线8.日志统计8.全球变暖1.第几天2000年的1月1日，是那一年的第1天。
青龙指引你·2020-06-30 03:27

企业级 Docker Registry--harbor安装和简单使用

2019独角兽企业重金招聘Python工程师标准>>>1.什么是harbor简单的说，Harbor是一个企业级的DockerRegistry，可以实现images的私有存储和日志统计权限控制等功能，并支持创建多项目
weixin_34380296·2020-06-28 18:14

elk docker 部署实战

elk(Elasticsearch+Logstash+Kibana)是业界目前搭建日志统计监控系统的一套成熟的解决方案。我为了后续前端的监控告警系统的搭建，最近对其进行了一下了解和尝试。
weixin_30918415·2020-06-28 02:37

根据Tomcat的日志统计系统QPS

打开Tomcat的访问日志cdapache-tomcat/conf/server.xml生产的访问日志文件在apache-tomcat/logs/localhost_access_log.2018-03-22.txt如何使用Tomcat的访问日志分析日志格式shell语句获取QPSsudocat./localhost_access_log.2019-12-21.txt|cut-d''-f4|uni
传臣、·2020-06-27 10:21

ELK(Elasticsearch+Filebeat+Kibana) 轻量级采集分析Nginx日志

轻量级日志统计分析组件，包含elasticsearch、filebeat、kibanaELK环境准备Elasticsearch下载地址https://www.elastic.co/downloads/past-releases
yvan1115·2020-06-27 10:18

灵活利用Spark窗口函数lead、lag进行在线时长统计

简介在数据统中经常需要统计一些时长数据，例如在线时长，这些数据有些比较好统计，有些稍微麻烦一点，例如，根据登录和退出日志统计用户在线时长。
trayvontang·2020-06-26 20:09

日志审计系统的基本原理与部署方式

综合日志审计平台，通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，结合丰富的日志统计汇总及关联分析功能
曹世宏的博客·2020-06-25 14:55

使用Hive分析网站访问日志统计日活跃及日新增用户数据、编写脚本

demo文章目录demodemanddatatablecreateloaddata日活日新shell脚本demand建立一个表，来存储每天新增的数据(分区表)统计每天的活跃用户(日活)（需要用户的ip，用户的账号，用户访问时间最早的一条url和时间）统计每天的新增用户(日新)data2019-08-15号的数据：192.168.33.6,hunter,2019-08-1510:30:20,/a19
deantzzz·2020-06-25 07:07

利用logback封装了输出日志到oracle、mysql等主流关系型数据库的适配器来把日志实时输出到mongodb

为了后期的日志统计分析方便，需要把日志保存到数据库，logback封装了输出日志到oracle、mysql等主流关系型数据库的适配器，但由于考虑mongoDB非关系数据库的存取速度和性能比较好以及可以满足日志存储的需求
TEN上海哥·2020-06-24 00:24

腾讯，排行前10的开源项目

它集可扩展协议编解码、高性能RPC通信框架、名字路由与发现、发布监控、日志统计、配置管理等于一体，通过它
Java技术栈·2020-06-23 15:51

filebeat 解析日志 并发送到Elasticsearch

起先，是出于了解我的网站逐步前行STEP的访问情况而做一个Nginx日志统计分析的功能，首选的就是ELK，但是，由于Logstash占用内存和CPU占有率都不是我的小服务器能承受的，转而将logstash
闲敲代码、落灯花·2020-06-23 14:13

web服务器缓存方面的一些问题

2.日志问题区分粒度大小的日志统计LOG：系统级应用级业务级(可以查看具体某个业务的信息)3.DB问
peimin·2020-06-23 06:29

基于Spark的用户行为路径分析

研究背景互联网行业越来越重视自家客户的一些行为偏好了，无论是电商行业还是金融行业，基于用户行为可以做出很多东西，电商行业可以归纳出用户偏好为用户推荐商品，金融行业可以把用户行为作为反欺诈的一个点，本文主要介绍其中一个重要的功能点，基于行为日志统计用户行为路径
banmeng3487·2020-06-22 17:14

搭建Harbor私有镜像仓库

Harbor是一个企业级的DockerRegistry，可以实现镜像的私有存储和日志统计权限控制等功能，并支持创建多项目。Harbor可以部署在任何支持Docker的Linux发行版上。
斌小哥·2020-06-21 12:45

Kafka与MQ的区别

作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强，而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计
weixin_30337251·2020-06-21 09:53

跨域页面日志埋点

（日志统计）**/function
wqdsb·2020-06-20 21:09

2018.5.4

早上看到丽红的日志统计，意外看到刘波也在日志中，并且也连续️2天没有写日志，我与丽红表达了个人观点，刘波想改变要靠他自己，帮助他有很多种形式，过去了就不可以当没有发生，对自己日志没有标准，这是一个向拉扯的力量
顾国胜·2020-04-11 08:06

Android技术归档

基于目前我主要的技术领域在Android上，以后关于Android的开源代码都会归档到https://github.com/devilWwj/Android-Tech主要是一些工作中比较实用的Demo和技术，比如crash日志统计
IT_xiao小巫·2020-04-07 02:03

iOS多播放器封装

今年在做直播业务的时候遇到一些问题，就是在一个套播放器UI中需要多种不同的播放器（AVPlayer、IJKPlayer、AliPlayer）支持，根据ABTest开关来切换具体使用哪种播放器，并且还要对播放器进行日志统计
倾剑飞血·2020-04-06 05:28

阿里云日志服务使用教程

参见场景：Nginx访问日志分析，行车轨迹日志分析，销售营业日志统计同样性能，更强计算能力+存储量，成本为自建ELK10-13%，对比报告新功能仪表盘（Dashboar
云计算小百科·2020-04-04 11:11

通过.dSYM文件和umcrashtool解决友盟统计的crash

项目中如果集成了crash统计的三方SDK，当遇到闪退问题时对其进行定位和快速解决，下面是用友盟进行日志统计，解决crash的方法。
追沐·2020-04-02 21:05

Zabbix 监控网站的访问量

UV：独立访客，每个独立上网电脑视为一位访客，一天之内网站的访客数量PV：访问量，页面浏览量或者点击量，用户每访问一次记录一次2.根据的访问日志统计网站PV和UV总量[root@server-webscripts
Zabbix_Z大叔·2020-03-26 17:47

淘宝大秒系统设计详解

经过日志统计，前端系统双11峰值有效请求约60w以上的QPS，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500
大齐老师·2020-03-25 07:27

MongoDB mtools-你可能没用过的mongodb神器

前言mtools是什么可以做什么1.简易集群管理2.日志统计3.日志过滤4.图表呈现如何安装参考文档前言接触mongodb已经有一段时间了，从一开始的不了解，到现在已慢慢适应这个nosql领域的佼佼者，
xibuhaohao·2020-03-23 18:00

Java 代理模式与 AOP

类似日志统计、性能分析等就属于侵入性业务。本来原本的业务逻
jaychenIsUsed·2020-03-18 05:20

分布式离线/实时日志统计系统(Hadoop.Spark)

概要本文总结采用目前最流行的Hadoop生态圈和Spark生态圈搭建一套完整的分布式日志采集系统，支持离线和实时计算，可以满足多种需求，例如PV，UV，实时交易量等各个业务下的场景。项目架构项目架构图集群一览大数据两个重要角色存储采用Hadoop集群角色ipNameNode192.168.6.98DataNode1192.168.6.92DataNode2192.168.6.99计算采用Spark
热血沸腾·2020-03-17 15:09
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他