1秒查询百亿,分析亿级日志,SLB七层访问日志的工作原理

视频链接:SLB七层访问日志功能
PPT下载:请点这。以下是精彩内容整理:

一.什么是日志服务?具有哪些优势?
日志服务是包括数据的实时采集、数据的实时消费、日志的实时查询分析以及数据投递功能这样一个日志处理系统。

基于日志服务进行访问具有如下优点:
1.快速
日志产生秒级即可分析
1秒查询百亿,分析亿级日志
2.灵活
仅需定义“SQL+查询”的语句,便可在SQL中进行统计。
TB 级数据秒级出结果
3.生态丰富
15+种日志处理方式
涵盖流、离线等多种模式
4.低成本
无预留费用,无查询费用
成本低廉,仅为开源方案15%

1秒查询百亿,分析亿级日志,SLB七层访问日志的工作原理_第1张图片

二.访问日志功能分析
对于阿里云的一个SLB实例,来自外界的各种请求会访问该实例上的服务。在开启访问日志功能后,对于上述访问过程产生的请求日志会实时采集并上传到日志服务中。在日志服务上,可以对日志内容进行统计并计算出指标,包括访问指标以及与运营相关的业务指标;其次,日志服务上的数据可以实时交互,支持关键字的查询。此外,日志服务还对接了丰富的上下游系统,这其中包括可视化、流计算和“投递+批量计算”等功能。

主体功能:日志服务原生提供(LogSearch/Analytics)

1.仪表盘:访问(Access)、运营(Operation)
2.关键词查询、SQL分析
3.基于日志内容告警

上下游生态:日志服务扩展(LogHub/LogShipper)
1.可视化
2.流计算
3.投递+批量计算

竞品对比
阿里云SLB(结合日志服务)与AWS ELB相比有着明显的优势:在日志采集上,阿里云SLB可以实现秒级实时采集,而AWS ELB却有5或60分钟发布间隔;在实时查询、分析可视化方面阿里云SLB(结合日志服务)可实现开箱即用,而AWS SLB需要将S3数据再写入到Loggly、Splunk、Sumo Logic支持;在实时消费方面,阿里云SLB(结合日志服务)支持消费组、Storm、Spark Streaming、Flink等实时计算系统,AWS ELB日志存储于AWSS3,可以使用AWS Athena做分析,但难以实现秒级延迟的消费。

访问日志功能开通

在开通访问日志功能时首先应满足3个前提条件:
1.开通日志服务
2.创建SLB实例、七层监听(暂不支持四层协议监听)
3.SLB实例与存储访问日志的日志服务Project/Logstore处于同一区域

与此同时也需要具有3块的配置步骤:
1.日志采集授权
2.开启SLB实例访问日志存储Logstore规则
3.查询、分析功能初始化向导:创建索引、仪表盘

在实际开通过程中,首先需要创建一日志服务Project,需要注意Project区域的选择与SLB实例区域一致;在创建Project后紧接着进行Logstore的创建,Logstore是真正用于存储访问日志的实体。在进行上述操作后转到控制台点击完成授权,后续可完成日志创建。在运营中心的仪表盘包括PV、UV、请求成功率、请求报文流量以及返回客户端流量,仪表盘内也可筛选特定字段(例如SLB实例名)的日志进行分析。访问中心主要包括细节的访问指标,例如各种方法请求PV的时间趋势线表等。进入Logstore查询页面可以看到完整的访问日志内容,你可以输入关键词或SQL语句进行查询。

相关链接:
SLB七层访问日志功能购买/申请:请点这。

相关产品链接:
智能接入网关产品介绍 :https://yq.aliyun.com/articles/598067
VPN网关SSL-VPN产品介绍:https://yq.aliyun.com/articles/598069
云企业网产品介绍:https://yq.aliyun.com/articles/598078
云托付,值得您托付:https://yq.aliyun.com/articles/598092
EIP香港国际化线路发布及优惠介绍:https://yq.aliyun.com/articles/598088
负载均衡SLB新功能介绍:https://yq.aliyun.com/articles/598094
本文由云栖志愿小组林一木整理,百见编辑。

你可能感兴趣的:(1秒查询百亿,分析亿级日志,SLB七层访问日志的工作原理)