爬虫、蜘蛛、机器人有什么区别？

蜘蛛：

我最早知道这类程序存在，听到的名字就是蜘蛛；

最早知道的蜘蛛应该就是BaiDuSpider；

怎么知道的？

现在已经记不清了，大概是当时在做网站流量统计的时候，由于记录的网站用户请求的UserAgent内容，所以在访问记录中可以看到它留下的足迹。

网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
爬虫：

这个条目所描述的内容英文名叫做Web Crawler，这是有正规定义的，参见维基百科 Web crawler。业界内也很少叫蜘蛛的，一般都叫做网络爬虫，Spider只是个别爬虫的名称。

机器人：

起初只有一种机器人，也就是具有爬虫功能的机器人，而现在出现了各种各样的机器人，所以这个名字已经不再适合用来称呼爬虫了。

【爬虫】系列文章目录