larbin中两个wait队列的功能

原来的两个wait队列的作用是对于对应namedsite中含有较多url超过限制的,如果之前从内存中取则放入prioritywait队列,从硬盘中取则放入diskwait队列,原始的feed阶段并不把url往这两个队列中投放。限制namedsite中的url总数,可以壤ipsite中的url总数不会太多,而不会太短时间内尝试。feed阶段不使用不代表他们没有作用,因此不要将它们删除。

你可能感兴趣的:(url)