日志统计

elk docker 部署实战

elk(Elasticsearch+Logstash+Kibana)是业界目前搭建日志统计监控系统的一套成熟的解决方案。我为了后续前端的监控告警系统的搭建，最近对其进行了一下了解和尝试。
MatrixGod·2018-08-23 10:46

基于Spark的用户行为路径分析

研究背景互联网行业越来越重视自家客户的一些行为偏好了，无论是电商行业还是金融行业，基于用户行为可以做出很多东西，电商行业可以归纳出用户偏好为用户推荐商品，金融行业可以把用户行为作为反欺诈的一个点，本文主要介绍其中一个重要的功能点，基于行为日志统计用户行为路径
有梦想的人不睡觉121·2018-08-10 10:07

Linux分析Nginx日志统计IP访问次数的shell脚本

平时运维遇到最多的就是nginx的日志分析了，要时常做系统监控，检查IP的访问次数是否有异常，防止恶意访问。假设我的nginx日志如下：140.205.201.39--[09/Apr/2015:06:43:45+0800]"\x00\x0E8\xC5;.\x5CC\xE3W\xCD\x00\x00\x00\x00\x00"400181"-""-"220.181.108.104--[09/Apr/2
7B_coder·2018-07-19 23:39

mongodb聚合查询-JPA

想完成类似sql的group操作，根据日志统计每天一个操作类型的用户总数总数，同一用户在一天的多个操作算作一次。
H_Hao·2018-07-17 14:45

Java系统日志管理

在一个系统中日志管理是一个很重要的部分，因为当系统发布到线网后出了问题只能看系统日志了，这个时候系统日志起到了一个错误排查功能，同时也可以通过系统日志统计用户吞吐量等等，总之系统日志是系统管理一个重点。
peng_wei_kang·2018-07-06 15:06

linux命令sed, awk日志统计

awk一行数据的部分属性去重统计awk'{print$7}'base.20180514.log|grep'keyword'|awk-F'?''{print$2}'|awk-F'&''{print$1}'|uniqsed统计一个时间段的日志数量sed-n'/2018-05-1621:00:00/,/2018-05-1622:30:00/p'base.20180516.log|grep'keyword
r_martian·2018-06-03 17:48

Python实现的查询mysql数据库并通过邮件发送信息功能

/usr/bin/envpython'''''author:qlzhongCreatedon2015-6-29征途宕机日志统计汇总'''importMySQLdb
江枫渔火2017·2018-05-17 12:32

Android日志保存策略

前言：项目开始没有做好日志统计工作，每次有问题后端都得找前端对接，严重影响工作效率。最近特地在项目中加上日志保存策略，在此分享，供需要的人学习。
你弄啥嘞·2018-05-09 11:51

2018年蓝桥杯c/c++B组初赛（第九届）第八题-日志统计

8.标题：日志统计小明维护着一个程序员论坛。现在他收集了一份”点赞”日志，日志共有N行。其中每一行的格式是：tsid表示在ts时刻编号id的帖子收到一个”赞”。现在小明想统计有哪些帖子曾经是”热帖”。
JXUFE_ACMer·2018-05-04 22:14

2018年第九届蓝桥杯省赛C/C++B组题解

“2018年第九届蓝桥杯省赛C/C++B组”题解目录：1.第几天2.明码3.乘积尾零4.测试次数5.快速排序6.递增三元组7.螺旋折线8.日志统计9.全球变暖10.乘积最大1.日期答案：1252000年的
wangfy_·2018-04-03 15:55

数据库查询脚本

/usr/bin/envpython'''author:qlzhongCreatedon2015-6-29征途宕机日志统计汇总'''importMySQLdbimporttimeimportdatetimeimportsmtplibfromemail.mime.textimportMIMETextmailto_list
江枫渔火2017·2018-03-26 11:20

Linux Awk使用案例总结-nginx日志统计

Nginx日志分析（截图和文字日志格式不同）日志格式：'$remote_addr-$remote_user[$time_local]"$request"$status$body_bytes_sent"$http_referer""$http_user_agent""$http_x_forwarded_for"'日志记录：27.189.231.39--[09/Apr/2016:17:21:23+08
FrancisSoung·2018-03-12 10:57

通过nginx日志利用shell统计日pv和uv

网上记录nginx日志统计访问量的脚本的文档很多，但是看来看去实际都是一个东西，如下：1.根据访问IP统计UVawk'{print$1}'access.log|sort|uniq-c|wc-l2.统计访问
devin223·2018-03-06 11:34

从Nginx的access日志统计PV、UV和热点资源

需求：在阿里云-CDN管理控制台的监控页面里，有对PV、UV和热点资源的统计。于是自己也写了脚本来获取相关数据。分析：PV：指网站的访问请求数。包含同一来源IP的多次请求。UV：指网站的独立访客数。同一来源IP的多次请求只计算一次。来看一条Nginx的access日志信息：# head -1 access.log 192.165.158.238 - - 2017-03-06T20:47:04+08
zhen1819·2018-01-09 20:22

ELK实战之ELK架构实用演示

一、ELK实用架构解析（1）用户通过nginx或haproxy访问ELK日志统计平台，IP地址为keepalived的vip地址。
IT_外卖小哥·2018-01-02 17:09

JavaScript实现AOP详解(面向切面编程,装饰者模式)

AOP(面向切面编程)的主要作用是把一些跟核心业务逻辑模块无关的功能抽离出来，这些跟业务逻辑无关的功能通常包括日志统计、安全控制、异常处理等。
三十亿少女的梦·2017-12-19 09:34

mongodb+java实现日志的日活与月活查询

业务介绍前段时间有个日志统计的需求，是规范的登陆日志，估计一个月有几十万，放入hadoop太麻烦了，放数据库又怕后续数据量增加较快，于是尝试用mongodb来存储，后续进行统计。
名明鸣冥·2017-12-18 14:15

Python实现一个Git日志统计分析的小工具

前言本文介绍的是利用Python实现的一个小工具，用于分析Gitcommitlog，获得GitProject每个成员的简单行为数据。Warning：代码量不能代表程序员能力水平！启动参数共5个。Repo地址Commit起始日期Commit结束日期Git仓库子目录统计分析结果CSV文件目标路径exec_gitGitLog命令：git-C{}log--since={}--until={}--prett
爱柚子的陈同学·2017-12-14 16:28

Kibana使用Nginx代理验证

需求实现在使用ELK进行日志统计的时候，由于Kibana自身并没有身份验证的功能，任何人只要知道链接地址就可以正常登录到Kibana控制界面。
酥心糖·2017-12-12 17:17

阿里云日志服务发布历史

参见场景：Nginx访问日志分析，行车轨迹日志分析，销售营业日志统计同样性能，更强计算能力+存储量，成本为自建ELK10-
weixin_34417183·2017-11-22 08:31

sentry使用

概念js错误日志统计工具，官网文档以下说明前提条件都是raven-js日志收集必要条件sentry平台帐号注册raven客户端安装sentry服务平台进行首页->新建项目之后，点击settings,可以设置错误日志收集条件
THZXQ·2017-11-22 00:00

awk使用案例总结

LinuxAwk使用案例总结（nginx日志统计，文件对比合并等）知识点：1）数组数组是用来存储一系列值的变量，可通过索引来访问数组的值。
liujing07·2017-11-20 17:00

Nginx日志统计

1）按每小时切割Nginx访问日志，并且将日志自动上传至FTP服务器；#!/bin/bash#automvnginxlogshell#byauthorxiaomingS_LOG=/usr/local/nginx/logs/access.logD_LOG=/data/backup/`date+%Y%m%d%H%M`echo-e"\033[32mPleasewaitstartcutshellscrip
蜡笔xiao馨·2017-11-15 09:24

Nginx日志统计

1）按每小时切割Nginx访问日志，并且将日志自动上传至FTP服务器；#!/bin/bash#automvnginxlogshell#byauthorxiaomingS_LOG=/usr/local/nginx/logs/access.logD_LOG=/data/backup/`date+%Y%m%d%H%M`echo-e"\033[32mPleasewaitstartcutshellscrip
蜡笔xiao馨·2017-11-15 09:16

基于LAMP实现web日志管理查看

基本结构图：一、搭建日志服务器系统默认就已经安装了rsyslog服务，该服务是日志统计，并进行整理的应用。1、查看rssylog服务的状态servicersyslogst
迁行·2017-10-31 15:40

Spring AOP的八个概念、五个通知类型、AOP的第一种实现方式

如何统计各个模块中的各个功能的使频率问题提出方案：日志统计分析------------------------人员IDIP操作时间模块功能实现原理与实现过程：代码的侵入式、Filter:过滤器加入一个拦截器
Nerver妹妹·2017-10-27 15:42

慢查日志(三)

(补)在上一节中,我们已经通过慢查日志和慢查日志统计分析工具挑选出了急需优化的sql语句.在本节中,我们利用showprofile准确分析出单个sql语句的性能损耗.1.普通的方式用ex
dennis-hao·2017-09-23 20:51

【转】Harbor 私有仓库简单部署

Harbor私有仓库简单部署2017-05-24https://www.xtplayer.cn/2017/05/2857Harbor是一个企业级的DockerRegistry，可以实现images的私有存储和日志统计权限控制等功能
Docker猫猫·2017-09-20 06:57

【转】Harbor 私有仓库简单部署

Harbor私有仓库简单部署2017-05-24https://www.xtplayer.cn/2017/05/2857Harbor是一个企业级的DockerRegistry，可以实现images的私有存储和日志统计权限控制等功能
Docker猫猫·2017-09-20 06:57

TODO

tempTN行为跟踪、日志统计、广告管理新业务/提供服务（GIS/POI、临近城市、文本检索、排序区分预定城市、BI数据转为排序因子、搜索结果页-目的地POI聚合产品、零售平台product权重值）（搜索直达
MathactwFX·2017-09-07 16:30

iOS 2017友盟错误统计及分析

Crash日志统计集成友盟SDK这点我就不再过多的赘述了，详细看友盟集成文档。收集Crash日志友盟上的文案这点友盟上说的很清楚，错误统计这个接口默认是开启的，只要
MQGreen·2017-09-05 13:37

钉钉app怎么怎么使用日志统计功能?

钉钉app新增了一个日记统计功能，该怎么使用这个功能呢？下面我们就来看看详细的教程，请看下文详细介绍。软件名称：阿里钉钉手机版v4.3.10官方安卓版软件大小：62.3MB更新时间：2018-06-141）打开钉钉APP，首先进入“消息”界面下方的“工作”，然后再上划界面进入【日志】；（如下图）2）接着点击屏幕中的【统计】，随后再点击【创建统计规则】；（如下图）3）最后再完成页面中的相关信息，确认
佚名·2017-08-29 14:39

通过拓展Function.prototype实现一个AOP

AOP(面向切面的编程)主要是将一些与核心业务逻辑模块无关的功能抽离出来，这些功能通常包括日志统计，安全控制，或者是异常处理等等。
John·2017-08-23 00:00

一个Spark Demo与代码详解

简单的Nginx日志统计代码详解##载入依赖包frompysparkimportSparkContext##生成并初始化一个Spark任务sc=SparkContext("local","SimpleApp
CalicoBox·2017-08-04 18:48

Nginx日志统计分析的常用命令总结

本文主要给大家总结了关于Nginx日志统计分析的一些常用命令，分享出来供大家参考学习，下面来一起看看详细的介绍：一、IP相关统计统计IP访问量awk'{print$1}'access.log|sort-n
Jeff·2017-07-05 09:01

去掉message日志文件中su命令的记录

脚本执行需要root权限，但脚本中使用su命令来执行其他命令或脚本，比如使用nginx用户调用日志统计脚本。
axe999·2017-06-28 10:59

企业级Docker Registry部署之Harbor

Harbor是vmware开源企业级DockerRegistry，具有存储，日志统计，权限控制等功能，基于Docker官方Registryv2实现，项目开源地址。
蓝色_风暴·2017-06-07 14:58

简谈 Fabric 的使用

Fabric同样也是可以做到Crash日志统计功能的，接下来，我就详细的说一下Fabric-Crashlyti
安静守护你·2017-06-04 11:04

心得-2017/5/9

一、关于nginx日志统计分析的心得总结第一步：对nginx日志进行垃圾过滤一般共性需要考虑过滤的内容包括：1.访问类型：保留200,301,302，去除其他譬如499,501,502等2.保留get、
ipaid_ec89·2017-05-09 23:33

通过nginx日志利用shell统计日pv和uv

通过nginx日志利用shell统计日pv和uv网上记录nginx日志统计访问量的脚本的文档很多，但是看来看去实际都是一个东西，如下：1.根据访问IP统计UVawk'{print$1}'access.log
qq_33324608·2017-05-04 16:35

日志统计redis和mongo对比

1.Redis适合做key少value大的计数统计mongo适合使用聚合做key多value少的计数统计，使用聚合的方式2.mongo可以直接使用key-value做计数而不是聚合，但是这种方式只试用统计访问总数，而不是访问人次3.使用mongo聚合的方式统计更加灵活，可以扩充功能。比如统计dxh的访问量扩充cbs下，book下总访问量.使用聚合可以减少对db的写操作,一个集合可以做多种数据统计
随机漫步_·2017-04-28 21:29

CentOS7部署ELK

他们组成了一个基础的日志统计系统，L负责日志信息获取，E负责创建日志缓存，K负责最终的视图呈现。安装推荐使用tar包，rpm看似方便，但在实际的使用中会有些麻烦，后
拉小马·2017-03-03 15:42

Kafka实战－实时日志统计流程

简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打算为大家介绍Flume＋Kafka＋Storm的实时日志统计
郭龙_Jack·2017-03-01 23:09

Kafka和mq的差异，我了些收集

其实，作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强，而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计
小飞侠-2·2017-02-09 09:51

基于Spark的用户行为路径分析

研究背景互联网行业越来越重视自家客户的一些行为偏好了，无论是电商行业还是金融行业，基于用户行为可以做出很多东西，电商行业可以归纳出用户偏好为用户推荐商品，金融行业可以把用户行为作为反欺诈的一个点，本文主要介绍其中一个重要的功能点，基于行为日志统计用户行为路径
ChouYarn·2017-01-13 22:00

（GeekBand）系统设计与实践 系统设计七剑客

大纲同步网络数据库分布式性能估算面向对象案例社交网站信息流日志统计网络爬虫电商产品页面ConcurrencyThreadvs.ProcessConsumerandProducerBlockingqueueTracking
Linary_L·2017-01-07 23:11

从日志统计到大数据分析

2008年底，我开始在百度负责一个日志统计的小团队，开发了一套基于Hadoop的日志统计
大数据研习社·2016-12-22 16:46

快速集成友盟bug日志统计

app上线后如何捕获用户的crash日志呢方法1：代码中实现日志上报功能方法2：快速在app中集成友盟bug日志的统计上面两种方法，第一种目前小民还没有实现过，因为懒，所以简单几句就可以使用友盟的bug日志统计
倒骑驴走着瞧·2016-11-24 10:10

企业级docker私有仓库harbor在Ubuntu14.04上的部署与使用

一、harbor简介：简单的说，Harbor是一个企业级的DockerRegistry，可以实现p_w_picpaths的私有存储和日志统计权限控制等功能，并支持创建多项目(Harbor提出的概念)，基于官方
黑色时间·2016-10-12 15:09

《JavaScript设计模式与开发实践》整理

1）高阶函数实现AOPAOP（面向切面编程）的主要作用是把一些跟核心业务逻辑模块无关的功能抽离出来，这些跟业务逻辑无关的功能通常包括日志统计、安全控制、异常处理等。
咖啡机（K.F.J）·2016-10-08 10:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他