python百度api爬取所有_Python 爬虫+百度API

网络爬虫：又被称为网页蜘蛛，网络机器人，是一种按照一定规则自动抓取网上信息的程序或脚本。

有啥作用：通过该技术可快速高效的在互联网上获取自己想要的大数据，是大数据分析的基础。

基础知识：想要用爬虫技术到网上爬取自己想要的数据，需要大概的了解一下W3C标准(HTML、JSON、XPath等)与HTTP协议标准(HTTP请求过程、请求方式、Cookie状态管理等)。

百度地图API

百度地图API：百度地图大家都有用过，但这个API又是哈？百度地图API是为开发者提供http/https接口，即开发者通过http/https形式发起检索请求，获取返回json或xml格式的检索数据。

创建API密钥：http://lbsyun.baidu.com/apiconsole/key。打开该链接，用申请的百度帐号登录，单击创建应用，Referer白名单里面输入*，创建完成后可在查看应用中看到API密钥

地点检索服务：提供多种场景的地点(POI)检索功能，包括城市检索、圆形区域检索、矩形区域检索。开发者可通过接口获取地点(POI)基础或详细地理信息。该功能又分为行政区划区域检索、圆形区域检索、矩形区域检索。

行政区划区域检索：开发者可通过该功能，检索某一行政区划内(目前最细到城市级别)的地点信息。http://api.map.baidu.com/place/v2/search?query=银行®ion=北京&output=json&ak=申请的密钥

圆形区域检索：开发者可设置圆心和半径，检索圆形区域内的地点信息(常用于周边检索场景)。http://api.map.baidu.com/place/v2/search?query=银行&location=39.915,116.404&radius=2000&output=xml&ak=申请的密钥

矩形区域检索：开发者可设置检索区域左下角和右上角坐标，检索坐标对应矩形内的地点信息http://api.map.baidu.com/place/v2/search?query=银行&location=39.915,116.404&radius=2000&output=xml&ak=申请的密钥

示例：通过行政区域检索益阳市的景区信息，在浏览器中输入如下信息

http://api.map.baidu.com/place/v2/search?query=景区®ion=益阳&output=json&page_size=5&ak=申请的密钥

返回的信息为JSON格式(可修改为XML)。

单次访问服务最多同时返回400条数据。，此限制无法修改。

每页最多返回20条查询信息，超过20条可通过page_num参数解决。

Python爬虫+百度API

基于Python 的爬虫技术，结合百度地图API，获取益阳全市境内的所有场景信息(小区、景区、学校、商业广场等)。主要用到requests与json两个模块。

有木有很实用，其实上面只是讲解了一个地点检索的功能，还有更玄酷的，比如时时路况查询，IP定位等。

标签：检索,http,Python,爬虫,API,开发者,百度,密钥

来源： https://blog.51cto.com/15069490/2578647