“存算分离”是大数据建设的必然趋势?存算协同才是真的香!

不知道大家最近有没有在冲浪的时候关注到一个词叫“存算分离”。这个词最近一直出现在我的视野里。我也用我的一些行业知识,与大家来说一说,到底要不要“存算分离”。

首先,先来说说什么是“存算分离”。我也翻看了很多资料,其实存算分离是最近潮流的一种架构,在架构设计和项目规划的时候经常被提及,有一定的适应场景,而且也是有一些弊端的。

但我是觉得存算是不能分离的。而且存算应该是协同的关系。为什么呢?

首先,通用的存储是一个“傻盒子”。

因为存储如果没有合适的方法或者人工干预,它只会根据当前的IO特性,以及确定的一些策略或者数据摆放的位置去为应用提供服务的。

但现在不管是高性能计算、人工智能训练还是大数据分析对应的数据访问模式是不同的。

其次,衡量存储的性能是两大指标,分别是带宽(吞吐量)和每秒I/O操作数(IOPS)。

但在实际使用时,肯定希望得到更“高”的IOPS以及吞吐更“大”(高带宽),但做存储系统的小伙伴们肯定知道,如果一款存储系统中两样都要,是不太可能的。

但怎么才能将存储的效能达到极致呢?是不是如果存储能感知到应用就可以了。也就是说告诉存储,应该在什么时段,在什么区域去配置,之后为应用的不同计算阶段提供最好的存取效率和并行能力。这样是不是就解决了高性能的问题了。

所以如果真的“存算分离”了,怎么去实现呢?

但肯定有人会说,那如何做到存算协同呢?

其实可以从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送【提示性信息】,协助存储系统预判此次任务的IO模式,以做出策略选择和定向优化,才是王道。

存储系统如果具备了【应用感知】和【存算协同】,则可使存储系统变得可控、可视、可变,为存储赋予了【自我调节】的能力,主动去适配上层业务场景。同时提高计算和存储的协同,让计算在存取数据过程中以存储充分协作,会获得更好的数据存储效能。

以上就是我对存算协同的一些看法~也欢迎更多小伙伴与我一起讨论。

 

你可能感兴趣的:(big,data,大数据)