StarRock数据导入过大导致BE挂掉--坑3

今天在做数据迁移的时候遇到一个奇葩的问题,通过CloudCanal把Mysql里的数据同步到StarRocks里,数据量1200W,出现一个问题至今没有解决的是数据丢失,但是数据量在少于1000W的时候是没有丢失的。这不是我要讲的重点,我要说的重点是StarRocks在接收大量数据的时候,由于内存不足会出现BE结点挂掉,咱办呢?

StarRock数据导入过大导致BE挂掉--坑3_第1张图片

 

这么办:首先我们想到的就是重启,没有用,试了三次,本来想删除重建的,想到数据导入不容易,就扩容一下,然后重启完美解决。给我最大的教训就是一定要预估数据量,数据量太大会直接把BE结点压挂了

你可能感兴趣的:(大数据)