Python超级简单入门学习 爬虫的概述

1.爬虫技术概述

·　　爬虫，即网络爬虫，就像一个蜘蛛一样在网络的这张大网上爬来爬去，这只蜘蛛可爬到任何一个能去到的地方，去寻找自己需要的信息和价值。通过递归访问网络资源，抓取网络中信息的技术。
　　互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载些有价值的信息的技术。
　　互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫就像一只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。
　　爬虫技术最开始来源于搜索引擎技术，是搜索引擎的基础，目前已经普及开成为了非常常用的通用技术。

2.爬虫的实现

·　　很多语言都可以用来开发爬虫，理论上只要有访问网络能力的语言都可以用来开发爬虫，但目前最主流的爬虫开发主要时python语言，python语言简单清晰，高效开发的特点特别适合与爬虫这种需要根据不同页面灵活高效开发的需求场景