爬虫去重策略

1、将访问过的url保存到数据库中
缺点:效率低
2、将访问过的url保存到set中,只需要o(1)的代价就可以查询url
缺点:内存占用太大
3、url经过md5等方法哈希后保存到set中
将字符缩减到16byte后保存,减少内存占用,而且不会重复
4、用bitmap方法,将访问过的url通过hash函数映射到某一位
缺点:冲突非常高,用一个hash函数可能将不同的url映射到同一位上
5、bloomfilter方法对bitmap进行改进,多重hash函数降低冲突

你可能感兴趣的:(爬虫去重策略)