杉岩数据：智能化管理10亿文件，G证券是如何做到的？

证券公司每天产生的数据中80%以上是非结构化数据，持续的数据增长，证券服务向智能化、敏捷化、价值化方向发展，对后端存储提出了挑战。

1、变革的动力：证券信息化升级

以影像、图片、扫描件为主的非结构化数据激增，数据量从TB级向PB级跃进。每年新增大量应用，复杂性增加，海量文件的访问性能面临新挑战。

机构内部业务繁杂，存在数据壁垒，需搭建统一数据平台，提高跨业务共享效率。技术演进推动应用的容器化部署，这要求存储吸收容器技术提供持久化存储服务。利用大数据的价值，借力AI实现业务创新，比如智能运维（AIOps），进一步降本提效也是大势所趋。如果存储自身能够提供AI能力，支撑智能运维，自然是锦上添花。

G证券公司（后文简称“G证券”）选择分布式存储，开启了集约式数字化档案管理的全新探索。

2、变革迫在眉睫：长期痛点驱使新方案落地

从外部环境来看，2014年以前，证券业客户档案都采用营业部分散管理的方式，风险多，一线员工压力大，掣肘业务开展。从内部需求看，业务数据以小文件为主，且增速很快；加之“双录”规范要求文件保存20年且随时调阅，存储性能严重不足。

G证券面临痛点如下：NAS存储7000万文件，秒级延时性能差；NAS瓶颈凸显，扩容困难；多站点管理不便，主备中心难以高效协同；业务高峰期带宽不足，资源无法合理分配；大文件读取慢，视频播放卡顿，用户体验差；人工运维效率低，构建智能运维平台是刚需。这一切促使G证券面向市场寻求新的存储解决方案。

3、众多方案角逐：G证券为何选择杉岩？

备选方案中，一类是传统存储方案，即用高端NAS满足需求，但未来频繁扩容以及性能瓶颈依旧令人头疼；另一类是分布式存储方案，其在容量、性能、扩展性等方面具备天然优势。

针对前述痛点，方案选型需关注：PB级容量，灵活扩容；性能无瓶颈，访问性能高；运维简单，效益显著；测试对接顺利，业务上线快；售后及时，提供原厂支持。

竞争者中不乏传统存储领域的知名大厂，以及新兴存储领域的创业厂商，杉岩最终凭何赢得G证券认可？

产品及方案完善

杉岩MOS海量对象存储支撑5亿文件毫秒级访问。独有的AI处理引擎，帮助优化质检算法。已接入MOS的业务，无需开发元数据的迁移功能，元数据检索和主数据读取均在MOS内部完成，效率显著提升。

杉岩的三层数据保护方案也让客户感到放心：通过副本和纠删机制，提高数据可靠性；通过内置备份功能，取代外置的备份软硬件；通过跨数据中心容灾，保障业务连续性。

测试结果优异

客户主要关注MOS能否与现有业务顺利对接，以及产品可靠性和稳定性。MOS的S3接口顺利通过接口测试，客户仅用一个小时就完成了单系统对接。近一个月的异常测试，杉岩都顺利通过。

实施服务周到

客户只对原业务进行微小改造，就将原数据无缝迁到MOS。为不影响证券交易，项目实施都在18:00到第二天06:00进行，服务周到。

4、海量、智能、敏捷，杉岩为档案管理提供新选择

先从档案中心宏观架构入手，如图1所示，MOS将源数据区的数据存下来，并与计算层交互。通过部署同城双活，实现RPO分钟级灾备。

图1.G证券档案中心整体架构

具体到解决方案的实现，如图2所示。

（1）MOS替代NAS，保障毫秒级访问；利用小文件合并提升空间利用率；

（2）基于分布式架构，扩展灵活，容量和性能线性增长；

（3）跨数据中心双活模式，多数据中心可同时读写，保障高连续和高可用；

（4）通过智能QoS合理分配带宽和优先级，避免资源抢占；

（5）营业网点通过HTTPS访问存储，提升文件读取效率；

（6）MOS告警信息通过SNMP对接G证券告警管理平台，实现精细化监管。

图2. 杉岩解决方案架构

2017年6月，MOS正式上线，部署12台服务器、4台交换机及百余块硬盘，构建1PB存储集群。

业务数据逐步迁移，MOS支撑5亿文件毫秒级访问

经过半年多稳定运行，G证券逐步将一柜通柜台、投研平台等接入MOS。由于数据增长，原有空间不足，客户在2019年进行首次扩容。通过新建EC故障域将空间利用率从50%提升到67%，成本效益显著。

截至2020年3月，存储集群裸容量超过800TB，对象总数超过5.6亿，每天写入文件7万多个，时延低于百毫秒，性能表现让NAS难以企及。

MOS对接日志易系统，以智能存储支撑智能运维

为构建智能运维（AIOps）平台，将日志易系统迁至MOS。基于分布式架构保障高可用，降低硬件变更的影响；利用MOS特性赋能AIOps，如通过智能QoS实现资源优化；借力AI优化运维策略。

MOS集成智能数据处理引擎，充分释放数据价值

MOS独有的智能数据处理引擎，帮助优化质检算法，释放数据价值，实现了数据存储、处理、灾备、价值发现的一站式管理，如图3所示。

图3. 杉岩解决方案架构

如图4所示，客户借助可视化界面，清晰掌握集群状态，方便又省心。

图4.MOS图形化管理界面

MOS至今稳定运行2年10个月，未出现任何故障，赢得了客户赞许。

5、档案管理能力显著提升，帮助客户实现更大价值

MOS帮助G证券构建集中式数字化档案管理平台，带来明显改观。客户可在全国任一网点办理业务，所有营业部可共享使用数字化档案，在线查阅和借阅客户资料更方便。档案中心可对双录视频进行内容检查，如人脸是否清晰、有无公司标识，系统审核不通过再人工复审，效率高。

新方案的经济效益也十分明显。MOS每TB的价格相比高端NAS低50%左右，省去文档格式转化集群、水印集群所需的硬件设施，节约成本近10万元。

未来的架构演进方向，一是结合MOS的智能数据处理引擎，释放数据价值。比如：利用AI优化质检算法；通过格式转换工具，精简数据结构，提升数据质量；以AI赋能运维，降本提效。二是拥抱互联网金融，加速容器部署，提升微服务能力。

G证券档案管理平台的成功实践，验证了杉岩产品及方案的高品质，也为今后的行业实践打下坚实的基础。