智能运维案例系列 | 新网银行 X 袋鼠云：银行核心业务系统日志监控平台建设实践...
在聊今天的案例之前，我想首先和大家聊聊当前最热的词汇之一：“数据驱动”。
双11就要到了，当你打开手淘页面，你会收到平台推荐给你的优惠活动信息，你可能感兴趣的商家或者商品， 你随意地逛着，喜欢的商品你可能会点击收藏或者加入购物车，不喜欢的你很快就关掉了商品介绍页面。
30min后，你再一次打开手淘，页面和30min前竟然完全不同。那些被你匆匆关闭页面的商品可能再也不会出现在你的视线里。
你在淘宝上的每一个行为，都在产生数据，而算法都在实时处理和分析：点击、浏览、收藏、加入购物车....并由算法自主决策，给你继续推荐什么样的商品，在你的手淘页面，展示什么样的广告....
如此，形成一个数据处理和利用的闭环。而在这个闭环中，决策者是数据，执行者也是数据。
这就是我们所理解的数据驱动，也是袋鼠云数据智能品牌理念 DI （Data Intelligence ）和 BI 的重要区别：在BI中，也就是商业智能中，是数据辅助人决策，更多将会应用在战略层面的决策，而执行层面与战术层面则是DI的强项，让数据基于人工智能来自主决策，是真正的数据驱动。
一、数据智能，驱动银行创新进化
“互联网金融正在冲击传统的物理银行概念，商业银行将成为21世纪灭绝的恐龙，互联网金融出现之后，物理概念上的银行将会被颠覆。此外，现有金融格局也将受到冲击，产生互联网时代的金融巨无霸。”
——中国人民银行调查统计司副司长徐诺金
四川新网银行是全国三家互联网银行之一，由新希望集团、小米、红旗连锁等股东发起，于2016年12月28日正式开业，是银监会批准成立的全国第七家民营银行，也是四川省首家民营银行。
四川新网银行依托领先的金融科技能力、稳健的大数据风控技术和高效的互联网开放平台运营模式，服务小微群体、支持实体经济、践行普惠金融，着力成为一家数字科技普惠银行。
互联网时代，对用户来讲最重要的是什么？体验。
新网银行行内业务系统繁多，系统之间关系复杂，对监控有很高要求，需要准确快速定位问题。为了更好地支撑业务系统，保证系统平稳运行，给客户良好的服务体验，监控平台需要精细化业务监控指标，对运维监控平台提出了很高的要求。
新网银行业务运维部门负责人认为，日志数据是一座有待开发的金矿。日常中运维故障排查中也需要通过查询日志定位问题，所以他希望可以对日志进行统一的监控和管理，更好的服务业务部门，但是随着业务体量增大，需要查看的服务器越来越多，如何准确获取运维需要的信息是一个难题。
首先，新网银行对业内比较火的开源日志系统ELK进行了深入的研究，但新网银行的需求是基于业务层面对日志进行分析，对日志分析的功能需求比较个性化，如果使用开源产品，后续就必定需要经常会对其进行一系列的开发和整合，这样就会消耗很多时间和精力，所以新网银行更希望有一套成熟的日志分析解决方案来协助他们对业务进行统一监控和运维。
通过寻找对比市面上的一些日志分析解决方案厂家，新网银行了解到袋鼠云日志团队拥有多年PB级日志数据处理和分析的经验，对业务日志分析也有丰富的实践案例积累，双方一拍即合，希望通过打造一套完整的日志分析解决方案，通过对日志数据进行集中采集、分析、展示，实现对业务系统的实时监控报警、故障分析定位，打造数据驱动的智能运维平台体系。
通过日志分析平台的建设，新网银行取得了以下成果：
- 将日志数据统一收集、存储，满足监管合规需求
- 银行日志数据有严格的存储时间要求，新网银行实现了将行内各应用业务系统、网络设备等的日志数据进行统一采集、集中存储和长期保存备份。
根据流水号
查询交易日志了解业务详情
- 通过对日志数据进行解析，实现对主要业务系统的运维监控
- 通过将新网银行各业务系统运行中交易异常、耗时异常，接口错误等关键指标进行聚合统计后，配置相应告警规则，对接行内短信通道及统一告警管理平台，并在故障产生的第一时间告警给负责人员，大大缩短了运维人员的排障时间，降低故障带来的损失。
通过对各交易流水日志进行解析
监控各应用请求的耗时
- 业务监控数据用可视化报表呈现，让数据价值看得见，真正实现数据驱动
- 通过仪表盘将行内各业务监控指标进行可视化展示，让业务人员和运维人员都能直观地查看异常信息，了解交易详情。
将监控指标用可视化图表展示
异常信息一目了然
- 权限设置，实现分系统分权限查看日志
- 为了减少和防止人为误操作，保障生产环境的稳定运行，日志平台根据业务系统数据及功能需求严格控制研发、运维及管理人员的权限，故障排查再也无需登录生产环境。
二、新网银行和袋鼠云合作探索数据驱动：数据——技术——业务
总结新网银行和袋鼠云的整个合作过程，不得不提到袋鼠云CEO陈吉平经常讲到的三角形架构：“数据——技术——业务”。所谓数据驱动，底层一定是技术来支撑，在具体的业务场景里，挖掘数据的价值，驱动业务创新发展。
新网银行一期计划接入行内20多个业务系统，工作量繁重且艰巨。而且银行业务系统的复杂性，以及外包开发人员打印日志的不规范性，给接下来的日志分析带来了极大的挑战。
作为中国互联网银行业务的创新标杆，新网银行理所当然最了解自身的银行和金融业务。
所以袋鼠云工程师和新网银行的专家们进行紧密合作，深入了解新网银行的业务场景，计划按照业务的优先级将一期20多个业务系统分批接入。首先确定接入的是行内关键的3个业务系统，基于每个业务系统的特殊日志分析需求，双方合作对新网银行的特定业务日志进行了定制化的场景分析。
在和新网银行一起进行日志场景化分析的过程中，袋鼠云日志产品将这些需求沉淀、产品化，袋鼠云日志产品的场景分析功能迅速迭代，配合新网银行内部业务日志的改造工程，一同完善整体日志分析方案。
一个月的时间内，袋鼠云和新网银行共同努力，三大关键业务系统的日志分析功能上线，新网银行的日志分析平台建设初显成果。
在和新网银行建设日志分析平台的过程中，袋鼠云日志实现了和行内大数据平台ES的完全兼容。
也就是说，经由袋鼠云日志平台采集存储加工处理的日志数据可无缝对接到很多银行企业原有的大数据平台中，解决银行企业数据集中难的痛点和难点。
新网银行 X 袋鼠云合作打造的日志监控平台
（注：图中数据为演示数据）
三、回到新网银行 X 袋鼠云 合作的起点
2017年6月6日，2017年全国高考开始的前一夜。
当天，还在新网银行做POC测试的袋鼠云日志团队收到一个艰巨的“考题”：
2017年6月9日，新网银行的投资方之一小米科技的创始人雷军将要到新网银行视察。为了更直观、形象地展示行内业务发展情况和科技应用成果，新网银行计划采用当前比较流行的数据可视化的形式。
从需求承接到设计，数据研发，部署一共只有三天时间，听起来是一个完全不可能完成的任务。但是不试一下怎么知道不行？
袋鼠云了解到这一需求，迅速抽调内部设计和前端、后端资源，全力配合：新网银行的工程师们迅速抽取、处理和分析数据，袋鼠云的工程师们则负责大屏展示的设计和前端开发。
3天，72小时，加班加点的努力终于开花结果。
最终，在2017年6月9日，领导来视察前，一起完成了这项艰巨项目，并获得了领导的肯定和赞扬。
袋鼠云用了三天三夜定义了自己倡导的价值观：客户第一、团队协作、专业、担当。
四、没有技术，是行不通的；只有技术，也还是行不通
作为一家技术驱动的创新型公司，技术实力和经验是袋鼠云的生产资料，是立足之本。
但是只有技术，袋鼠云根本无法为客户提供最好的服务。在和新网银行合作的过程中，客户的大规模量的数据、多元创新的业务让袋鼠云的技术有了发挥余地，客户对自身业务的专业积累帮助袋鼠云更快理解银行日志大数据的应用场景，更高效地探索所谓的“数据驱动”。
而对于袋鼠云，除了专业的技术能力外，更重要的，是在和客户的合作中，真正践行“客户第一”的服务理念。
探索“数据驱动”，袋鼠云期待和更多的伙伴一起合作，实践。