好程序员:数据至上 云存储两大发展趋势

|本文由好程序员特训营编辑

|作者：好程序员

一、概述

纵观当前安防行业现状，IP化、高清化、智能化、大数据应用等方面的发展随着众多标志性项目的落地已经得到广泛认同。SDT(安防大数据)将是未来安防发展的方向，云存储技术作为大数据应用的基础，在提升安防行业存储系统优势同时，安防市场对于云存储的需求也越来越明晰。目前视频监控系统规模不断扩大，以及高清视频的大规模应用，对视频监控系统中需要存储的数据，以及数据应用的复杂程度都在不断提高。视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，因此对存储系统的可靠性和性能线性增长等方面都提出了强烈的要求。安防行业作为一个具有自身特点和特色的行业，在云存储技术与安防行业特点的结合、调整、优化上充满期待。而具有通用性的常规云存储系统却将云存储作为存储端独立出来，割裂与具体行业、具体应用的联系，在整个安防系统中仅充当数据读写、存储、安全保障等基本角色。通用云存储系统通过提供IT化的数据读写方式，要求应用端适应存储的工作模式，从而增加了应用端的开发任务，拉长视频存储的业务流程，抑制了对云存储合理的优化可能。因此云存储若要在安防行业中壮大、发展，除了要继承其本质的特点优势外，更应深入了解安防行业特点和需要，并积极参与到从前端到存储整个端到端的数据路径优化工作中来。二、云存储架构区分目前在行业中应用的云存储系统从架构上整体区分主要有两类，即全对称云存储架构和非全对称云存储架构两种。全对称云存储架构中所有节点的硬件、软件、功能均相同，即其元数据模块和数据模块均在同一台存储设备中。在该架构下所有存储设备地位相同，通过云存储软件系统将存储设备进行整合，共同提供服务。而非全对称云存储架构多采用将元数据模块独立部署在服务器上，数据模块则部署在存储设备上，通过云存储软件系统控制系统的整体服务，并将信令流和业务流进行分离提供云存储服务。虽然架构上有较大区别，但是云存储提供服务的本质并没有太大的差别。统一的服务提供能力、虚拟化的空间使用方式、分布式的存储模式、业务实时动态调度和容灾等是衡量云存储基本属性的几个方面。三、安防云存储发展方向具备了上述特点存储系统虽然自身完成了云化的过程，但其进入安防行业后又进一步进行分化，在与安防业务特点结合时走向了不同的两条道路。1、“拿来主义”一条道路即拿来主义，将市场上的通用云存储系统原封不动搬入安防行业。这种方式的初衷是希望利用云存储系统方便管理、使用简单、扩展性高、可靠性高等优势为安防服务。然而在实际使用时却发现并非那么简单，以视频录像为例，传统使用NVR作为存储设备时，管理平台仅需要下达录像指令即可将视频流直接送入NVR设备中存储，在摄像机与NVR间没有额外数据中转设备，流程简单，存储故障点也仅集中在NVR自身。引入通用型云存储后虽可以提升存储端的可靠性，但是再也无法满足这种短路径的数据存储方式。其原因在于通用的云存储系统不具备联系摄像机完成自身取流的功能。通用型云存储系统提供服务的方式是将自身的容量空间通过协议或者API接口挂接给某台设备，因此要完成视频录像的整个流程，监控行业平台需要引入独立设备来搭建摄像机与云存储之间的桥梁。通常的做法是增加流媒体服务器和存储转发服务器，流媒体用于取流转发、存储转发服务器用于与通用型云存储对接。因此数据流的整个过程由：摄像机→NVR，变为摄像机→流媒体服务器→存储转发服务器→云存储，整个数据路径被拉长。虽然由云存储替代NVR在管理、性能、扩展、安全等方面有了全面提升，但是新引入环节的保障却无从谈起，需要安防厂商自行保障。另外写入通用型云存储中的数据多以文件方式进行保存，服务器将持续连贯的视频流转换成大量中断的视频片段文件存储在云存储系统中。视频数据的特征是流式数据，生成文件会对数据的流式特点造成一定影响，降低数据流写入效率，同时后期使用和查找视频文件时大多采用文件名的方式进行查找，定位也并不非常精确。因此通用型云存储系统在安防行业中的应用虽然提升了存储系统，但是新引入的问题也需要安防厂商设法克服。2、“师夷长技以自强”云存储进入安防行业的另一条道路可以概括为“师夷长技以自强”，即继承云存储的本质优点，同时按照安防行业特点予以改造，以适应安防行业的实际情况。（1）整体系统架构调整在适应安防行业的实际情况上，首先云存储系统可以通过自身改造独立承担视频图像的取流存储、预览、转发等多种功能。这样在整个系统中，数据的流向可以从摄像机直接写入云存储系统的存储节点中，数据的分布式存储则由云存储系统内各存储节点自行完成。整个结构省去了很多中间环节，只涉及前端和存储，因此环节变少、流程简化后效率随之提升，故障环节也随之降低。另外云存储系统同样可以针对视频存储技术进行面向应用的定制工作，如视频数据的周期性管理、录像补录、索引管理、录像完整性检测等多种与存储相关的内容都可以整合入云存储系统。从而释放上层业务系统的系统资源，简化整个安防存储结构。（2）视频录像效率优化云存储系统同样可以针对视频的数据特点进行优化工作。为避免文件式的存储方式将视频数据人为切成大量的视频片段而破坏其完整性，视频数据的存储方式在云存储中同样可以使用流式存储的方式。这当然需要云存储系统深入了解安防环境下视频数据的存储和使用特点，对自身的存储方式进行改造。视频录像数据以保留30天为例，原来源源不断的视频数据会形成一个以30天数据量为总容量，以时间为周长的圆周。数据在这个30天的圆周上周而复始，不断循环写入。那么针对视频录像的这种数据特点，云存储系统可以不再采用视频片段文件这种非流式数据的存储方式，改而使用更符合流式数据特点的存储方式。一个摄像头30天内的数据以圆周形式进行存储，数据量则为写满圆周的总周长，同时在圆周上以秒或者更细粒度为单位标注时间坐标。那么在不破坏数据完整性同时，可以根据精确的时间点坐标进行自定义的数据定位、查询、下载、回放，视频数据的存储和使用效果会大幅提升。在安防行业中，云存储一大优势体现在大数据平台，以及根据安防应用特性对自身进行改造和优化。例如海康威视视频云存储针对视频数据长时间不中断生成以及周期覆盖等特性，创造性开发流式数据结构，将视频数据以更高效、更切合方式进行存储，使数据存储效率更高、数据检索更快、系统长期使用性能不下降。云存储将数据的关键信息进行初步分析后联同数据一起存储。这样在数据进行智能分析和应用扩展时将不再受到制约，更利于安防大数据的发展。因此随之而来的安防创新也会更为灵活与丰富，海康威视视频云存储与海康威视Smart前端以及平台之间协同，可提供如：区域入侵检测、图片对比检索、视频浓缩等丰富的安防应用。四、总结对于安防厂商而言云存储系统是作为完善存储端的任务而被引入的，因此对于云存储在安防行业的实际应用需要投入更多的思考。无论是哪种云存储模式，使用何种技术路线，都能够完成基础的存储任务，但是在完成数据存储任务的同时如何提升整体效率、降低额外消耗就存在比较大的差异。因此要在发挥云存储自身特点优势的同时，关注具体的行业数据本质特征，关注未来应用的发展需要，不断融合与优化，才能形成一套更贴合用户需求、更具生命力的安防云存储系统体系。

欢迎关注【“好程序员”搜狐号】高端IT教育--从平凡到卓越 为梦想而拼搏