Python网络爬虫与信息提取入门<5>

Part19 实例5：IP地址归属地的自动查询

怎么查询一个IP地址的归属呢？比如说某一个IP地址他是来自于北京、上海还是美国呢？我们用一个python 程序来判断。当然你要判断一个地址的归属地，你必须要有一个库，那么我们的程序没有这样的库，我们可以在网上寻找相关的资源，事实上，一个叫IP138的网站提供了这样的功能，我们看一下这个界面：

实际这个界面呢，包含两个输入框，我们可以在输入框中输入IP地址，并通过点击按钮查询来提交这个IP地址并获取这个IP地址的所在地，这样的东西适合人的使用，因为这是一种人适合结构方式，到那时他不适合程序。那么在程序中怎么去提交IP地址呢？这里边教大家一个小技巧：你可以尝试着在界面中输入一下IP地址，并且点击查询，看一下浏览器的变化。在某些网站中他对提交的IP地址并没有相关的处理，所以我们能看到通过IP138网站提交一个IP地址的一个URL链接是这样的一个接口形式，这个接口形式其实很好理解：

它是一个以http开头的一个链接，然后通过ip = ipaddress这样的一个形式，将ipadress作为一个参数提交到前面的网页中，那么这个网页根据这个参数会返回一个数据内容，就是这个地址对应的所在的物理位置。那么我们利用这样的URL接口就可以通过提交IP地址来找到IP地址的归属地。下面我们来用一段代码来试试：

首先我们import requests库，然后呢我们将刚才解析出来的接口用URL的变量来表示，然后我们用requests的方法提交一个IP地址，然后我们来检测一下状态码，200，说明我们提交的信息被成功的返回了，然后我们看一下返回文本的相关内容，这里面我们查询的内容是返回文本的最后500个字节，我们可以看到这个IP地址是北京理工大学教育网的IP地址。

事实上，如果大家访问这个网站，这个网站是北京理工大学首页的IP地址。这里面有一个小技巧，如果你尝试一下，当你获取一个URL链接返回的内容非常多的时候，r.text会导致IDLE的失效，所以我们建议大家如果在编写程序去检测访问数据的时候，尽量约束一个范围空间，比如像刚刚写的r.text[-500:]，也就是说最后的500，或者说我们经常使用的[0:1000]，显示一千个字符，这样的方式可以保证不会影响IDLE的使用。下面我们给出IP地址查询的全代码：

与之前的例子相比，这个例子比较简单，但是这个例子其实告诉了大家一个道理：我们有的时候在网站上看到的人机交互方式，比如说图形的、文本框的、需要点击按钮的这种方式在正式的向后台服务器提交的时候，其实都是以链接的形式来提交的。只要你能够去通过浏览器的解析知道向后抬提交的链接的形式，那你就可以用python代码模拟后者是用python代码去向服务器做正式的提交，而不需要人来做这样的事情。所以当你需要自动向网站提交的时候，建议大家去挖掘一下这个网站后台的API是什么。

Part 20 单元小结

在这个单元中，我们讲解了5个request库的爬取实例，那经过这些实例大家是不是知道request库的强大功能呢？现在我们在看一看这些实例。

第一个实例：京东商品页面的爬取，我们用我们的网络爬虫框架获得京东商品的页面的信息。

第二个实例：我们做的是亚马逊商品页面的爬取，他与京东商品页面爬取不同，亚马逊的商品对来源做了审查，所以我们可以利用request库的功能来模拟浏览器向亚马逊提出相关的请求并且正确的获取商品页面的信息。

第三个实例：同时我们可以向百度、360这样的搜索引擎提交关键字并获得他返回的结果。

第四个例子：是网络图片的爬取和存储，事实上它不只是图片，对网上所有的二进制的资源格式，图片、视频、动画等等，都可以用同样的代码获取它。

第五个例子：我们看一下对一些网站怎么去人工的分析他的接口并利用接口来实现IP地址归属地的查询。事实上，这些例子不仅检测和证明了request库的强大，同时其实也让我们去思考我么该怎么去看待网络内容。所以我们人类看到网络内容是通过浏览器，通过敲击URL，并且通过鼠标去点击一个一个的链接，但是如果你想要成为网络爬虫方面的专家，你就要通过网络爬虫的视角来看待网络内容。那么对于网络上的内容，什么是网络爬虫的视角呢？那就是网络上的任何一个内容它都有一个URL与它对应。而对网络内容的获取、查询都是通过构造URL来实现的。我们知道HTTP协议中，他有两个很重要的基础，一个是网络资源定位的URL，一个是对资源操作各种操作。只要我们勤加思考去练习，能够学会以爬虫角度来看待网络内容，你就能成为网络爬虫方面的专家。

大家一起努力！