关于日志的那些事儿
日志的作用
1.审计
- 商业分析：比如从日志中提取用户行为（比如，一个点击事件流）并结合用户的其他详情（比如，最终购买行为）来生成报告或者推荐相关产品。
- 接口调用情况统计：调用量、调用成功率、平均响应时间
- 软件使用情况统计
2.诊断
- 根据日志的错误信息的上下文定位和追踪问题
- 根据相关日志信息了解软件的运行状态
- ...
3.监控告警
在运维中，经常需要实时监控日志内容，根据某种策略来判断是否发出邮件告警，通知相关人员及时处理。读取日志的时间间隔可以根据实际情况来设定，可以1分钟、或者5分钟。
告警策略：
- 基于关键字告警: 出现某些关键字，如SQLException，则发出邮件告警。
- 基于统计告警：比如统计接口的成功率，低于某个值则告警；复杂一点的比如某个接口出现次数大于多少，成功率低于多少则告警；又如接口平均响应时间大于多少则告警。
实时读取日志的三种方法：
- 增量读取：每次读取日志把文件的大小保存下来，下一次从一次的记录的位置开始读取。
- 根据日志的时间读取，比如只读取最近两分钟的内容。这用方法不用记录读取的位置，日志文件不大时候，可采用这种方法，如果日志文件很大则此方法不适合。
- 使用类似watchdog的库实时监控日志的变化，日志一用增加则读取增加部分，这种方法实时性较高。
碎碎念
- 程序未动，log先行: 编程一开始就把日志打印纳入开发计划，打印日志是软件开发不可或缺的一部分，一开始就要规划好。
- 克制，勿让无用信息干扰有用信息：比如在一个会循环很多次的for循环里面，我们需要打印日志但又不想每次都打印，可以每100次打印一次，每1000次打印一次，打印频率具体情况具体分析。
- 另一种打印日志的方式：使用nohup启动程序，比如使用nohup启动Python脚本，代码中使用print打印的内容会被重定向到nohup.out文件中，省去了配置logging参数的麻烦。简单的脚本中可采用这种方法。
- 在Python中使用logging.error(e, exc_info=True)打印异常信息, 而不是logging.error(e), logging.error(e)不会打印异常上下文；还可以使用logging.exception(e), 这种方法也会打印上下文。
- ...
使用Python统计大日志的技巧
-
Python和shell命令结合 Python语言简单，功能强大，适合数据统计。有些shell命令过滤文本的效率很高，使用也很简单，比如grep。可以把Python的统计能力和shell命令高效过滤结合在一下提高统计大日志的效率
-
采用多进程 如果有很多日志文件要统计，可以采用多进程和shell结合，每个进程统计一个日志，最后再把各进程统计出来的结果汇总起来。这里是不是有一点MapReduce的味道。
下面给出一个Demo的代码框架：
# -*- coding: utf-8 -*-
import os
from glob import glob
from functools import reduce
from multiprocessing import Pool
LOG_PATH = '/applogs/face*/log.*'
def get_all_logs():
return glob(LOG_PATH)
def processing_fun(log_path):
result = {}
cmd = 'grep userid {file}'.format(file=log_path)
r = os.popen(cmd) # Python 调用grep命令过滤日志
text = r.read() # 获取过滤后的日志内容
# do something # 统计日志
return result
def reduce_fun(x, y):
# 合并统计结果
ret = {}
# do something
return ret
def main():
all_logs = get_all_logs()
pool = Pool(processes=4)
map_result = pool.map_async(func=processing_fun, iterable=all_logs)
pool.close()
pool.join()
data = map_result.get()
result = reduce(reduce_fun, data) # 最终的统计结果
print(result)
if __name__ == '__main__':
main()