关于阿里云日志服务使用教程详细内容:阿里云日志服务使用教程
发布历史
2017/9
新功能
支持JDBC协议:通过SQL92标准语法对日志进行查询分析
2017/8
性能优化
对底层存储进行深度优化,分析性能提升1000倍,做到真正实时日志分析。参见场景:Nginx访问日志分析,行车轨迹日志分析,销售营业日志统计
同样性能,更强计算能力+存储量,成本为自建ELK 10-13%,对比报告
新功能仪表盘(Dashboard)功能:将查询分析另存为实时图表/报警,参见演示视频
Logtail新增本地状态查询功能:实时掌握Agent运行历史与现状
2017/6
新功能
日志服务OSS Shipper支持CSV格式投递:使用说明
支持投递CSV格式数据,可以选择额外压缩。
支持丰富的CSV格式选项,如delimiter、quote、escape、header、null等。
存储于OSS的CSV数据可以通过HybridDB、MaxCompute、EMR或开源工具进行消费。
消费进度告警功能:使用说明
在云监控中查看日志库(Logstore)下每个消费组(ConsumerGroup)消费点位与最新数据之间时间差,以衡量当前计算的实时性。
支持对Storm、Spark Streaming、Flink等计算系统消费延迟监控与告警。
Logtail :
采集目录支持通配符模式(参见文档):日志采集目录支持通配符模式,便于用户以更细的粒度、更加灵活的方式指定日志采集目录。
格式新增多字符分隔符模式(参见文档):日志格式新增多字符分割符模式,相对复杂的单字符分隔符日志,配置方式更加简洁、对日志格式要求更低。
上传支持绑定网卡(参见文档):日志上传增加绑定指定网卡功能,适用于多网卡服务器中业务数据与日志数据分离、日志采集网络QoS控制等场景。
功能优化
优化上下文查询功能体验。
日志查询过程中还原任意一条日志精确上下文。
提供线程号字段过滤筛选功能。
2017/5
新渠道
支持中信云售卖
新功能
支持SQL进行日志实时分析:使用例子、查询语法
聚合查询支持自适应展示图表或原始日志。
新增表格,饼图可视化结果展示。
完善Go SDK:增加Example、案例以及说明
Logtail :新增环境检查工具
限制调整
单用户:可创建Project上限调整为30个。
单Project:可创建Shard调整为200个。
日志保存天数:上限从90天调整为365天。
2017/4
新地域
新增8个Region(完整Region入口列表),向国内用户提供完整基础设施出海,海外用户也可以直接使用阿里云全球节点进行服务
增加香港、迪拜、悉尼、法兰克福、东京、新加坡、美西硅谷
新增国内张家口节点
国际站/国内站均已对外开放
新功能
OSS投递支持Parquet存储(使用方法)
控制台直接配置即可生成开源Parquet格式文件,方便与开源社区对接
Parquet存储对接E-MapReduce/MaxCompute消费方式(使用方法)
2017/3
新功能
支持数值类(Double/Long)索引与查询,使用说明
对于日志中延时、位置和精度等数据提供多维度过滤
支持与文本类数据进行多维数据查询(最大30维)
计费调整
通过技术大幅优化降低了成本,启用新计费模式(3月20日生效,费用下降10%-85%),与其他方案成本对比:
与开源搭建的日志查询方案对比:是Elastic Search(ELK)成本 20%,Hive成本 50%
自定义TTL时长,具备100 PB 级长时间存储能力
2017/1
功能优化LogShipper新增投递OSS自定义Partition功能,根据计算需求定义存储格式,参考投递OSS章节
控制台新增Logtail错误诊断功能:快速诊断日志采集错误与原因,参考logtail采集错误查询
简化报警功能:无需通过RAM授权,具体请参考报警设置
优化日志查询页面体验:保存每页条数、排序方式、是否换行等参数后会持续生效
计费预告
计费模式即将调整:提供免费额度;索引费用下降(最大84%),参见计费模式预告
2016/12
查询增强
性能提升10+倍:十亿级日志多关键词查询秒级返回(非Cache情况)
实时性提升(30S->1S):99.9%场景写入1秒即可查询,最大3秒
新增上下文功能(业界首创):定位关键日志时,提供严格精确上下文内容(无论是Docker、T4、ECS或物理机),参见上下文功能文档
新增模糊查询 (支持:*, ?等语法) ,参见查询语法
新增多Topic、全Topic查询(空改为查询Logstore下所有Topic),参见查询语法
新增根据时间段分布聚合功能,参见查询语法
成本优化:全文索引+键值索引只计算一份流量
存储增强
提供生命周期管理(TTL):
支持动态调整时长
LogHub生命周期与LogSearch统一
多拷贝技术/机架级容灾:
SLA > 99.95%
数据安全性 > 99.99999999%
极为低廉成本(针对索引查询场景,参见对比):
ELK(搜索方案)方案10%
Hadoop类方案30%
生态支持
对查询提供另存为功能,参见快速开始
对查询结果进行短信报警: 参见报警设置
iOS(Swift/OC)/Android SDK升级:全面支持https
计费预告
计费模式即将调整:提供免费额度;索引费用下降(最大84%),参见计费模式预告
2016/09
产品发布
9.1 深圳金融云发布
新功能发布
Windows版Logtail发布:稳定、高性能、行为与Linux版对齐,更多请参考
2016/07
产品发布
7.1 上海Region正式启用
新功能发布
发布Log4J Appender支持Java开发用户,使用手册
发布LogHub Producer Library支持客户端高并发写,使用手册
发布IOS/Android 客户端:iOS, Android
Logtail支持根据IP等自定义字段,Hash映射Logstore Shard,实现保序功能,请工单联系我们开通
LogHub与TS(表格存储)打通,使用手册
功能优化
控制台支持关闭全文索引、按需配置索引,参考步骤
2016/6
产品发布
6.12 日志服务正式商用
新功能发布
组支持设置用户自定义标示UserDefinedID,支持机器组自动扩容
与消息服务(MNS)/ CDN两个云产品日志打通,接入参考
发布Unity3D SDK,支持游戏开发用户采集日志
Logtail支持日志转码/过滤功能
功能优化
与MaxCompute投递支持自动授权建表
控制台支持子账号操作Project
2016/05
新功能发布
支持Tracking Pixel方式接入日志:通过页面嵌入HTTP Tracking方式采集用户的访问行为数据,支持H5页面、以及各种移动端等
logtail支持根据目录名生成Topic:支持Logtail从路径中提取内容作为Topic字段,区分同类型各种日志
logtail支持JSON格式日志:Json格式输出日志可以直接被采集,无需进行结构化转化
logtail支持分隔符(Delimiter)格式日志:支持直接解析分隔符标准的日志
2016/03
新功能发布
oss shipper支持ram pass role检查,要求oss shipper配置者必须对所配置的role有访问权限,从而加强shipper安全。
logtail支持接入syslog数据。
loghub支持根据cursor反查数据时间。
loghub支持拉指定时间窗口的数据。
2016/02
新功能发布
提供数据投递OSS功能,帮助用户在OSS做长期数据存储或通过其它系统(如E-MapReduce)消费OSS数据来发掘日志的更大价值
数据投递ODPS功能支持用户自定义ODPS表结构导入,实现日志服务到ODPS的字段级别的映射,用户使用ODPS加工数据更方便
支持Shard扩容、缩容、删除,Logstore资源具备弹性伸缩能力
发布基于新API的SDK,支持查看、重试错误ODPS/OSS投递任务,包含:Java, Python
对LogHub消费者提协同消费模式loghub consumer library,解决多个消费者同时消费logstore时自动分配shard、按序消费等问题,使用户只需专注在自己业务逻辑上,而无需关心shard分配、CheckPoint、Failover等事宜。
2015/12
行为变更
新增Shard(分区)概念,用以日志写入与读取消费,参见数据模型
新增数据订阅API,参考日志消费API
新功能发布
发布基于新API SDK,包含:Java, Python
客户端Logtail安装方式
安骑士远程安装功能已关闭,目前只支持自助安装Logtail客户端
具体安装方式请参考安装说明
2015/01
新功能发布
发布基于新API的SDK,包含:Java, .NET, PHP, PythonSLS SDK
发布日志采集客户端Logtail的Windows版本Windows Logtail
支持key-value对的查询SLS 查询语法
提供离线投递任务管理页面,用于查询任务状态及失败重试。
更多精品课程:
7天玩转云服务器
云数据库Redis版使用教程
玩转云存储对象存储OSS使用入门
阿里云CDN使用教程
负载均衡入门与产品使用指南
阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场)