商业银行大数据之路三部曲1：去IOE

阅读更多

商业银行大数据之路三部曲1：去IOE

商业银行大数据之路三部曲2：数据治理
商业银行大数据之路三部曲3：智能化

----------------------------------------------------------------------------------

即便缺少BAT的技术优势，传统商业银行去IOE，也可四两拨千斤

----------------------------------------------------------------------------------

 

IOE的成本

对银行来说IOE的“I”指IBM的大型机，约几百万美元，每年维护费80万，维护人员每天工资2万。“O”为Oracle数据库，按CPU收费，每个15万，好点的数据库服务器随便7，8个CPU，就要消耗近百把万的license费用。“E”是EMC的存储，按T(1024G)收费，一套方案下来，大概5万/T左右。

前段时间参加了一个技术讨论，会上有听到某个中字头银行测试部门负责人谈他们的架构和成本。他们是IOE的架构，几千万的账户，平均下来1台IBM的大型机，配套Oracle数据库，配套EMC存储，费用总支出近1亿元， 却只能支持50万个账户。也就是说，单一的账户，硬件的成本将近200元。

也许大家对这个数字存有疑虑， 50万个账户， 就算他们在1个小时之内，全部交易10次，算TPS（每秒事务5000000/3600）也才1400左右。普通的服务器就能做到，根本用不上大型机。其实，这是对银行系统的业务不太了解。

银行的每一笔交易，普通理解分三层：信息流，资金流，和账务流（会计分录），涉及到存款系统，支付系统等。但其实，对于银行来说，流程远远没有结束，每笔交易都要被银监系统监管，被人行系统监管，要处理征信，要进行风险的评估，要进行财务指标的计算，要进行流动性和头寸的计算，要算资金成本，要进行盈利的分析，要进行成本分摊， 还要判断是否是洗钱，进行归档处理，客户信息管理，反欺诈，税务处理等等，还有成千上万的报表。因此，交易之后的计算量，数据存储量，都非常巨大，但又必不可少。缺少任何一项都会有相当严重的后果，比如2012年汇丰银行就因为没有判断出明显的洗钱行为，被罚了19.2亿美元。 因此，从全流程角度看，1个大型机，跑50万账户，单账户200元的成本是比较可信的。

如果银行能够摆脱对IOE的依赖，把成本降到十分之一达到20元，则平均每千万的账户，能节省 180元 * 1千万 = 18亿 的成本。

 

去IOE的艰难

愿望是美好的，现实也是残酷的，去IOE口号喊了很多年，真正做到了去IOE的，也只有依靠腾讯和阿里支持的两家互联网银行，这两者都以“分布式的IT架构”为基础，构建了银行体系。

而传统银行，由于多年的IT均是基于IOE而建设的，形成了巨大的依赖性。不管是技术的积累，人才的储备，或是风险的承担能力，都不足以支撑这个去IOE的艰巨任务。此外，他们还有互联网银行所不具备的历史包袱，亿级账户需要在保持稳定性的同时，平稳切换到去IOE的架构，中间任何的差错风险，都足以让一票人乌纱不保。

2015银监发39号文，督促银行去IOE，并规定了明确的量化指标：2019年去IOE达到不低于75％占比，且安排年度不低于5%的预算。但总体上也是雷声大，雨点小，不仅技术储备有差距，意愿上更是身不由己，困难重重。

那么对于银行来说，去IOE，是否就真的不可实现了呢？ 答案是否定的。

 

去IOE的可操作方案

 

二八原则

 笔者曾经在“I”工作过4年，“O”也工作过4年，之后在“去IOE”的银行又工作了3年。或多或少参加了不少系统的去IOE架构落地工作，深切的感受到了去IOE过程中的“二八原则”。

 

 去IOE的症结矛盾是，在可控的风险和技术能力下，减少银行IT系统成本。而实际上，有些系统投入80%的精力，80%的难度，承担80%的风险，却只能减少20%的成本。而另外一些系统，投入20%的精力，20%的难度，承担20%的风险，确能减少80%的成本。

 

因此，商业银行在各种劣势下去IOE的出路，就在于尽可能把那部分20%的投入，有80%产出的系统落地。

 

系统分类和对比

银行的系统从去IOE的角度，可以分为2类，联机系统和数据系统。

 

 联机系统主要代表有： 存款系统，支付链路系统，贷款系统，资金交易系统等。凡是系统响应在秒级别或者毫秒级别的系统，都可以纳入联机系统的范畴。

 

数据系统主要代表有： 征信系统，资金转移定价系统，资产负债系统，成本分摊系统，盈利分析系统等。凡是可以隔日再计算的系统（俗称T+1跑批），都可以纳入数据系统的范畴。

那这两类系统在去IOE的表现上有什么区别呢？

 

1.技术角度
联机系统去IOE对技术要求非常高，不仅需要分布式的IT架构，同时在稳定性，容错性，可扩展性上都有非常高的要求。在过去的实践中，也都是很多部门，近几百号人协作，踩了无数的坑，呕心沥血花了几年时间才基本成型。因此，对于传统银行来说，不是金刚钻，就别揽瓷器活。

2.风险角度
联机系统去IOE风险非常大，稍有不慎停机几秒钟，或者计算出错，就能导致非常大的损失。毕竟银行账户金额出错，换在谁身上都是不可接受的。

3.计算量角度
银行联机系统的TPS，不比互联网，目前最大也就在5000左右。业务逻辑也不是特别复杂，处理完信息流，资金流和账务流基本就结束了，因此占用的计算量并不是特别多。

4.数据量角度

数据系统的数据一般都是每日从联机系统拷贝快照，然后按照不同的下游系统需求进行分别加工， 这个过程后，数据会急剧膨胀，数据系统累计的数据量，是联机系统的上千倍。

 

6.系统选择

由于历史的原因，基本上传统银行，这两类银行系统都是遵循了相同的IOE架构。因此，这就给了我们去IOE的可操作空间。把数据系统从IOE中剥离出来，是低难度，低风险，高收益的事情。大数据平台才是数据系统真正的家。

因此，依据二八原则，我们可操作的方案是： 联机系统继续保持IOE的架构，数据系统迁往大数据平台。这样做的好处显而易见，以极小的风险代价，保障系统稳定的同时，极大降低成本。让我们同样算一笔账：

1亿的IOE大机方案，如果只处理联机交易，能力平均至少提升10倍，算500万账户，单账户的成本为20元。

而大数据平台，500万账户，实际生产上，只需要200台5万左右的服务器建集群，就能支撑所有的数据系统需求，单账户成本为2元 = 1000万元 / 500万账户。

因此，IOE+大数据平台的方案，单账户总成本为22元， 相比单账户200元的纯IOE方案，已经极大地降低了成本，从节省成本的目的上看，去IOE可以算非常成功了。

总结

商业银行去IOE，最经济，最低风险，最小难度的方案，就是依据二八原则，把银行系统中的数据系统从IOE剥离，迁移到自建的大数据平台，以20%的投入，降低80%的成本。自此，商业银行大数据之路就真正开始了。