但行好事，莫问前程；与人方便，自己方便。

几天前，一个圈内朋友在和我聊天的时候，他突然向我展示了他收到的来自网易云音乐的律师函：由于大量的抓取网易云音乐的评论并且开源了抓取代码，要求他立马删除公开的源码以及已抓取评论。

我想到了一些事情。

一年前我刚开始学习爬虫的时候是很有激情的，从单线程到多线程到多进程到异步到代理到分布式，我尝试了很多方法不停的改进加速我的爬虫、不停地绕过反爬虫、不停地与奋战在一线的反爬虫工程师斗智斗勇。最终我的爬虫得到不断的改进，我攻克了一个又一个网站，甚至有的小网站不堪爬虫的快速请求瘫痪了。

那时候把别人的网站搞瘫痪了会很开心，直到有一次一位被我的爬虫搞瘫痪的小站的站长找到了我，请求我：放慢我的爬虫速度，在那之前我都没有意识到自己给别人带来的这些麻烦与困扰。

自那以后我开始减少代码中的多线程、多进程、异步，我慢慢的不使用代理、不使用分布式。而如今，上述这些内容只会在我学习的过程中使用到。

写这篇文章是呼吁每一位在学习、使用爬虫的朋友放慢你们的爬虫速度，减少使用分布式、代理等。

但行好事，莫问前程；与人方便，自己方便。