爬虫选择什么语言？

爬虫选择什么工具呢？

1.爬虫是网络蜘蛛机器人，自动爬取数据，按我们制定的规则获取数据

2.为什么要用爬虫呢，私人定制搜索引擎，获得更多的数据，不再是互联网时代而是大数据时代

3.爬虫的原理：控制节点（url分配器）、爬虫节点（按照算法爬取数据存储到数据库）、资源库（存储爬取的数据库供应搜索）

4.爬虫的设计思路：爬取的网络地址、http协议获取对应的html页面

4.爬虫语言选择：

PHP：虽然冠名“世界上最好的语言”，但是作为爬虫的缺点：没有多线程的概念，对异步的支持不多，并发不足，爬虫要求效率高

C/c++：运行效率和性能最高的语言，但是学习成本非常高，代码成型较大

Java：生态圈非常广大，python最大的竞争者，本身非常笨重体量积，爬虫需要经常修改代码

Python：语言优美、代码简介、第三方功能模块多scrapy、调用替他语言接口、成熟较高的分布式策略