被大佬启悟到算法思想特此记录

一、mysql在分库分表后如何做到插入id自增且唯一

答:使用去中心化的思想,借助mac地址、时间戳等一些第三方的标志符用hash生成唯一id,如果是同一毫秒进来的数据,再对这同一毫秒的数据做一个计数,继续生成唯一标识符对数据做区分,这样就可以完成去中心化,免除对id做自增时的第三方服务可能会宕机的问题。

二、分库分表后如何进行高性能的查询

答:使用类似于跳板机的服务,将你的sql整体传入到服务层,服务层对sql进行拆分查询,等结果出来再将结果做计算返回给请求者

三、100亿的字符串文件怎么做去重

答:这个问题 我首先想到的是用hive+spark来对数据做去重,其实这个解决问题的想法是没错的,但是关键在于怎么将数据拆开,

还是一个大佬给了我解决思路,那就是流式读取,这样就不会存在文件太大内存爆掉的问题,然后对你读取到的每一个字符串做hash,将hash值相同的字符串push到同一个路径下,这样就实现了离线的大数据量去重

 

 

你可能感兴趣的:(算法)