MinIO实战几点体会

        高效的文件存储的选择,MinIO和其他文件存储产品进行广泛的调研,项目中技术栈选择了MinIO进行非结构化文件的存储,来应对项目中文件存储和拉取需求。

        项目涉及海上平台多源设备的采集,基于数据支持应用和业务,传统理解上非结构化文件一般是办公文件,例如word、excel、ppt、pdf及各种图片。开发团队首次使用Minio,创造性的把数采的方式打包小文件形式,存储到MinIO中,利用它的高效来实时支持前端应用使用。把MinIO当成实时数据库来使用了。初期很完美的呈现了数据,几个月后,突然发现MinIO的存、取异常,排查后发现是MinIO的索引文件满了(配置了128MB索引空间)。

        很小的文件,例如高频的几KB的小文件,Minio不是很有优势,开发人员只是单纯的机械存到MinIO中,没有很好的了解起原理,也是造成本次异常错误的原因。另外,MinIO在搭建时也没有充分考虑它的能力,建议应用开发注意事项,多方面造成了本次隐患。

        举以上小例子,随着信息化、数字化甚至智能化的深入,多种技术的深度融合对技术人员的要求其实是很大的考验,必须要通过实践来检验技术栈甚至是蓝图设计。不断的踩坑,才能茁壮成长,这样的坑多踩踩很有益处。

        以上是随感而发,随笔。

你可能感兴趣的:(文件存储)