大数据项目,计算某均值场景的内存优化方案

普通数据读取,一般都是将数据完全读入内存之后,在根据某些特征分组后,再计算分组内的均值指标;此举要求,申请的内存需不小于读取的数据所占用的内存总和。
现提出一个优化方案,数据读取时,先判断特征(特征可以是多个关键字组合),如果特征不存在,那就把这条数据加入进去,并计数数据条数,如果特征已存在,则先根据数据条数求出原来的总和,并计算出新的均值,再计数数据条数,如此循环,可使用相对有限的内存读出,可以达到节省内存的目的。

具体代码,由于涉密问题,不便放出,请谅解。

你可能感兴趣的:(大数据项目,计算某均值场景的内存优化方案)