星环科技多模型数据统一存储的大数据分布式存储平台方案分享

数字经济时代，随着大数据、人工智能等新一代信息技术的快速发展与应用，企业的数据量呈现爆炸式增长，数据结构也越来越多样化，对数据存储提出了更新的要求：数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据，多模型存储需求应运而生。非结构化数据的快速增长，对象存储的优势逐渐显现，并要求能够低成本实现海量非结构数据的存储。此外，传统数据存储平台需要同时存储大文件和小文件，业务的高速发展带来海量文件存储需求对存储平台提出了更高的性能要求。面对业务多样化对大数据存储提出的新要求，星环科技自主研发了多模型数据统一存储的大数据分布式存储管理平台，可同时满足多模型数据存储和海量文件存储等需求。基于多模型数据统一存储技术可实现PB级多模型数据统一存储，9种存储引擎支持10种数据模型，轻松实现跨模型联合分析，一站式满足企业业务各种场景。自主研发的分布式文件系统打破HDFS的存储瓶颈，实现海量小文件存储，可同时支持文件和对象存储，降低运维成本，并且兼容开源Hadoop生态，支持应用平滑迁移。多模型存储星环多模型数据统一分布式存储管理

传统存储平台方案将多个模型存储系统进行组合，各单一场景由各类专门数据库分别支撑，这类方案存在数据存储冗余、数据一致性治理难等问题，并且多套存储导致架构复杂、运维成本高、数据跨库分析难。星环科技多模型数据统一存储平台方案实现多模型数据的统一存储，基于统一多模型架构提供多模型能力。

星环科技自主研发的统一分布式数据管理系统TDDMS，该系统搭建了一个通用的分布式存储处理框架，提供了数据的分布管理、元信息管理、分布式事务、分布式一致性协议以及数据高可用保障。同时TDDMS支持接入不同的存储引擎，实现不同数据模型的存储。当前TDH分布式数据管理系统接入了9款存储引擎，支持10种数据模型的存储。用户不需要为不同模型建立单独的存储系统，而是通过统一的存储管理，降低了运维管理成本，也避免了数据孤岛。此外，分布式数据管理系统的插件特性，也方便后续业务的灵活扩展，可以根据需要灵活接入其他存储引擎，比如TDH9.0版本中，根据文档处理的新需求，新接入了文档存储引擎DocStore。多模型支持基于统一多模型架构支持关系型数据存储、宽表存储、搜索引擎、事件存储、地理空间存储、图存储、键值存储、文档存储、对象存储和时序数据存储，共10种数据模型，满足企业各类业务场景。多模型统一存储不同模型数据基于星环分布式数据管理系统TDDMS统一存储统一管理，降低运维成本，避免数据孤岛。统一数据查询入口统一接口处理不同业务、不同模型数据，避免多个不同接口的不一致，降低开发成本，避免烟囱式建设。高可靠、高容错基于星环分布式数据管理系统TDDMS实现统一数据多副本管理，数据一致性管理，保障数据安全。支持副本自动迁移，自动修复，具备高容错性，保障服务高可靠。海量文件+对象存储星环分布式文件系统

传统数据存储平台需要同时存储海量大文件和小文件。HDFS文件存储容量受限，不支持海量小文件，需要额外搭建对象存储平台，多套存储运维成本高。并且HDFS依赖建立多个Namespace扩展文件存储容量，数据不互通，业务层需要随着扩容更改逻辑。星环科技自主设计研发了企业级分布式文件系统TDFS，海量小文件存储无瓶颈，同时支持文件和对象存储，并且兼容Hadoop生态，支持应用平滑迁移。

同时支持文件与对象存储星环分布式文件系统TDFS一套存储同时支持文件存储与对象存储，统一存储管理，降低运维成本海量文件存储TDFS支撑10亿以上文件数，PB级以上存储容量，是开源HDFS 数倍元数据管理能力自研元数据管理，基于Raft一致性协议保障元数据安全。支持小文件与小文件一起存储，无惧海量小文件，无需多namesapce拆分生态兼容兼容开源Hadoop生态，支持HDFS API与S3接口，支撑应用平滑迁移企业级一站式多模型大数据基础平台 Transwarp Data Hub

Transwarp Data Hub（TDH） 是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。9种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。

TDH能够存储 PB 级别的海量数据，同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能，被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、图存储分析、空间数据存储、实时数据处理等各类大数据业务场景。目前 TDH 已经在政府、金融、能源、制造业等十多个行业内落地，可以替代Oracle、IBM DB2、Teradata等传统主流数据库在分析型场景中的应用及替代Elastic Search在分布式搜索场景中的应用，帮助企业，更全面、更便捷、更智能、更安全地运用数据，加速企业数字化转型。