COS数据湖存储引领大数据存储和自动驾驶存储发展趋势

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势数据是企业的核心资产，随着数据规模的快速增长，企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说，如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。

下面，让我们一起回顾下两位老师的精彩演讲内容

数据湖是一种可拓展的技术架构，将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案，从数据中挖掘价值；支持多种数据源，无缝对接各种计算分析和机器学习平台，打破数据孤岛；利用公有云对象存储做数据湖存储底座，让数据具备高弹性扩展、高持久性、高可用性，并降低了存储成本。

数据湖存储的底座-可靠性12个9的ZB级海量对象存储COS

对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。技术架构使用了YottaStore自研存储引擎，单集群最多可扩展至百EB数据规模，弹性伸缩策略让数据自动进行缩容或扩容，帮助用户平缓度过业务爆发期。

COS推出的新一代高可用机制，保障机房故障时读写请求正常执行， 业务访问可用性达到99.995%以上，让用户近乎无时无刻可以访问到数据。此外，COS新一代同城多活架构基于Block EC能力，将小文件在多副本层暂存，积累成逻辑Block后进行EC编码，在利用EC编码技术将数据分块、分机房存储，数据可靠性提升至12个9以上，为数据安全保驾护航。

COS作为一款云端存储产品，用户无需进行传统硬件的采购、部署和运维，从而节省了运维工作和托管成本；支持按量付费，且无容量限制，用户无需预先支付任何预留存储空间的费用；COS还提供多样化的存储类型，覆盖数据热、温、冷和离、在线存储能力，用户更可通过生命周期管理进行数据降冷，进一步降低成本。

COS三级加速GooseFS打造大数据存储行业性能标杆

客户为教育行业领先企业，原在友商云中自建大数据集群，但在双减的背景下面临严峻的成本压力，需要降级集群运行和维护成本。原有的存算一体技术架构弊端也逐渐凸显，用户计算和存储资源配比无法按需调整，存储占用容量高导致节点数量无法缩减，使得存储资源利用率不高，缺乏弹性能力，客户大数据业务的架构升级势在必行。

腾讯云存储将客户原有的存算一体方案改造为EMR+COS存算分离方案，通过GooseFS缓存层和元数据加速提升数据访问性能，COS加速对COS热数据做读加速，客户整体作业执行时间缩短20%；此外大量使用基于AMD的SA2低成本机型再叠加对象存储COS，仅部分节点部署GooseFS Server，该存算分离方案帮助客户降低40%以上成本。

数据湖加速器GooseFS赋能混合云，助力自动驾驶训练

近几年间，自动驾驶行业飞速发展，越来越多的车企选择数据上云。车企IDC通过云联网同腾讯云建立高速网络连接，数据在公有云存储和IDC存储之间自由流动，无缝使用云上弹性计算资源，帮助用户聚焦自身业务。

腾讯投入构建自动驾驶云专区，供全套DevOps工具，联合自动驾驶行业优秀的算法、仿真引擎和产业链生态应用，形成以自动驾驶数据为核心、服务算法研发与持续迭代优化的闭环解决方案，提供可靠、安全、稳定的自动驾驶专有云服务。

在存储层面，根据业务需求，客户选择可选择存储一体机TStor OneCOS和对象存储COS产品，通过GooseFS系列产品（全家桶），全面覆盖自动驾驶业务场景，加速大数据和AI训练业务。

GooseFS系列产品（全家桶）：
GooseFS：计算端COS缓存，提供HDFS、POSIX语义，利用计算节点资源，为数据预处理、训练场景，提供低成本、海量小文件读取加速服务 。
GooseFS-Lite：计算端轻量级COS数据接入，提供POSIX语义；针对仿真大文件、高吞吐数据读取场景。
GooseFSx：高性能并行文件缓存，高度兼容POSIX语义；为数据预处理、模型训练提供数据输出（写）服务，支持Windows系统对接能力。

这里分享一位自动驾驶行业高端车企的案例，客户在AI训练的过程中，将训练、仿真、测评、模型、地图等数据存储在本地IDC，存在硬盘成本过高，EKS集群数据无法共享等痛点。自动驾驶专云解决方案将采集到的车辆原始数据先写入本地IDC，之后通过TStor OneCOS将数据上传到云上对象存储COS，为客户在本地IDC提供海量、低成本对象存储服务。

原始数据在进行预处理后（抽帧，标注），生成训练数据集；黑石GPU集群通过 GooseFS缓存加速，运行TensorFlow训练任务。这里GooseFS缓存服务来大幅提升存储性能，提高业务效率。