我是一名网络蜘蛛 王泽宾

   我是一名网络蜘蛛，每天都不知疲倦地爬行在互联网上的每一个角落。在国外，人类都叫我们Web Spider，当然，也有一些没有艺术细胞的人类，称呼我们是爬虫。虽然我来到这个世界的时间并不长，但是现在，我们已经拥有了一个非常庞大的家族。其实，我们平常的工作非常简单，就是去互联网上的每一个网站，把他们的页面做个快照给运回来，这样，人类在通过搜索引擎就可以查询到自己需要的内容。尽管我们快照的手艺没有冠西老师专业，但我们绝对比他勤快，随时都会到各个网站看看有没有内容更新。

    我们的诞生，首先得感谢互联网，正是有了互联网，我们才有了一个温暖的家，我们才能在这里安家落户，修养生息。第二个感谢的就是搜索引擎了，比如谷哥、百哥了。我在听到他们的名字的时候，心中总是肃然起敬，他们就是蜘蛛世界里的女娲，我们心中的神，我们永远感谢他们八辈祖宗。

 

    我们刚诞生的时候，其实是很纯洁很天真的，我们有我们的理想，我们有我们的信仰，我们也想成为一个纯粹的蜘蛛，一个高尚的蜘蛛，一个脱离了低级趣味的蜘蛛，是后来人类的贪婪把我们中的一部分给拐带坏了。人类的程序员整天抱怨：起得比鸡早，睡得比狗晚，干得比驴累，吃得比猪差。可他们为什么不想想，我们比他们累多了，我们实行的7*24小时工作制，不管吃，不管喝，除了干活就是干活，还得冒着被网管封掉的生命危险。不过，说真的，刚开始的时候，人们还是非常喜欢我们的，我们去各个小网站拍照的时候，可受欢迎了，那家伙那场面，真是相当得壮观。我们爬回来的内容越多，搜索引擎收录的链接就越多，小网站的排名就越靠前，随着小网站的流量越来越大，终于有一天就变成了大网站。然后，人类就拿着网站的PV或者PR到风投那里，说：“你看我们的流量多么多么的大，你是不是该投点银子了”。于是一来二去的，银子就到手了。所以，小网站们能不欢迎我们嘛，那时候，我们每次去造访网站，吃的是满汉全席，临走的时候，网站们还都会说：常来串门昂。

   突然有一天，古大哥和百二哥掐起架来了，打得水深火热的。古大哥说：“我是老大，我米国来的，有的是银子，我比你收录的内容多！”。百二哥说：“我TMD才是老大，你是个外国货，我比你懂中文”。于是，两个老大开始血拼，你派出来10个蜘蛛，我就派出来100个；你派出来1000个，我就派出来10000个。壶怕壶啊。于是网站们遭殃了，网站里全是蜘蛛，把带宽耗个精光，人类都访问不了了。前几天，csdn还被爬挂了呢，cnblogs都爬挂了好几回了，不知道51CTO挂没挂过。网站们对蜘蛛是又喜欢，又害怕。蜘蛛实在太多了的时候，就敲死他们几个。再说了，我现在都是大网站了，流量是哗哗的，你蜘蛛就别来凑热闹了。我靠，人类就是这张嘴脸，用你的时候甜言蜜语，不用的时候一脚踹开。

   如果世界上就是那么几个搜索引擎的话，那也没太大关系的。关键是现在冒出来很多的聚合类网站。这帮子聚合类网站，纯粹的二道贩子，自己从来都没有生产什么内容，每天就派出去一群蜘蛛，到各大网站采集内容。有点良心的网站，还保留着原始网站的地址，怎么说也给原始网站贡献了几个外部链接；没有良心的网站，直接就改成自己的了，所以对于这类网站，确实是可恨，他们的蜘蛛直接斩立决。

  人类有素质高低之分，我们蜘蛛也有。素质高的蜘蛛，到人家网站爬东西的时候，脸上都贴个标签：我是蜘蛛（就是在http协议头里User-agent:Robot类似的字样）。这样，网站不欢迎的时候就可以分出来，加以拒绝（在webserver里配置robots.txt文件）。素质低的蜘蛛，打扮得跟平常蜘蛛一样，只不过就是来得勤。现在的搜索引擎们，很多都已经变得没有素质了。

  我们蜘蛛现在可聪明了，我们以爬网页的时候，还会讲究策略，有时候我会广度优先，有时候我会深度优先。有的网站设计者，非常坏，在网页上设计了陷阱，我们刚爬进去就转不出来，死在坑里了。后来，我们蜘蛛可学乖了，再也不单打独斗了，一旦陷进去，其它的同伙就会赶过来，把失足者从坑里拉上来。还有网管封我们的IP，所以我们不得不学着不断的变换IP，家里什么都缺，就是不缺马甲。还有的时候，我们太贪婪，遇到网站上有好吃的，就想吃个精光，赖着不走，这也确实影响了人家客户的访问。我们是有缺点，但我们如果改正了，你们还会封我们的IP吗？伟人说过：改了就是好同志，有错就改，改了再犯，千锤百炼才会修成正果。网站们，你说是不是这个理？