python制作一个简单网络爬虫

这章我们用python标准库urllib2来实现简单的网络爬虫（本章很简单适合小白，不喜勿喷）
一、urllib2定义了以下方法：
urllib2.urlopen( URL, Data, timeout )
Data参数：POST数据提交（例如：账号密码发送给服务器判断登陆）
url参数：网页URL，可接受request对象。
返回一个类似于open文件对象 从中读取网页数据
urllib2.Request( URL, Data=None, headers={} )
注意R大写
Data为None时，发送的是GET请求，反之POST
二、urllib2小案例
python制作一个简单网络爬虫

import urllib
import urllib2
import re

if __name__ == '__main__':
  url = "https://www.python.org/downloads/"
  # GET请求官网下载地址    返回 对象.read()取出网页数据
  res = urllib.urlopen(url).read()
  # 编译为Pattern模式 匹配 取出列表中第一个数据
  r = re.compile(r"Download the latest version for Windows[\s\S]+?[\
  s\S]+?").findall(res)[0]
  # 进行数据清洗
  li = re.compile(r'a class="button" href="(.*?)">(.*?)<').findall(r)
  # 进行输出
  py3x = li[0]
  py2x = li[1]
  print py3x[1]+"："+py3x[0]+"\n"+py2x[1]+"："+py2x[0]

获得以下数据：
Download Python 3.6.0：https://www.python.org/ftp/py...
Download Python 2.7.13：https://www.python.org/ftp/py...
以上就是一个简单的网络爬虫，希望对你有所帮助。