抓取某安全公司升级包链接（python小白登天日记）

如果有大神路过，希望指出我描述种错误的部分，感激不尽。
他的工作是去别人公司给安全软件升级，比如如果客户公司版本号是1.1，最新版本号是10.0，他需要从1.2下载到10.0并且按顺序安装，这是他给我的链接：
http://update.nsfocus.com/update/listAurora/v/5
可以看到需要下载的东西确实挺多的，如果一个个点不是不能点完，但是这个正好可以用来练手，也挺简单的，不需要登录，

这一次我先上代码 版本2.7：

from bs4 import BeautifulSoup#解析网页的模块
import re#正则模块
import urllib#网络请求模块
url = "http://update.nsfocus.com/update/listAurora/v/5"
page = urllib.urlopen(url)#请求页面
html = page.read()#获取页面内容
soup = BeautifulSoup(html,'html.parser')#将页面变成bs的一个对象，用来后面的解析
test = soup.find_all(attrs={'href':re.compile("/update/downloads/id/")})#利用正则找到 含有href这个属性，且href中包含"/update/downloads/id/"这块字符串的所有标签。
for a in test:#遍历下载链接
Furl = downloadUrl + a['href']
print Furl
urllib.urlretrieve(Furl,"code.zip")#开始下载，但是这一块是错误的

先说BeautifulSoup，以下简称bs：

bs是用来解析接收到的网页的，解析约等于处理数据，咱们接受下来的网页有数不清的嵌套的标签，标签里有一堆乱七八糟的属性和值还有标签自己的content，我打印一下上面代码中的html大家一起鉴赏一下：

• 
  语言
  
  
  fc8

  中文
  

  ENGLISH

  
  

  日本语

  
  

  
  


• 如何购买

400-818-6868

• 首页


• 解决方案
  
  

  
  

  
  

本来想将这个html所有代码都拿过来大家鉴赏一下但是复制了一下，实在太大了，而且都给我提示了：

提示

上面放的代码只是极小极小一部分，这也是我们为什么要用bs模块来解析网页的原因，他会让我们解析这个网页的过程变得异常简单且流畅，下面说一下常用的方法：

soup = BeautifulSoup(html,'html.parser')

将html这个页面解析为一个bs的可操作对象。
BeautifulSoup()这个方法必填的两个参数，一个是html，也就是我们需要解析的网页，另一个是一个str，它代表的是什么呢？Beautiful Soup 4.4.0 文档查看官方文档，发现它有详细的解释：

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, "html.parser")	Python的内置标准库 执行速度适中 文档容错能力强	Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
Python标准库	BeautifulSoup(markup, "lxml")	速度快 文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, ["lxml-xml"]) BeautifulSoup(markup, "xml")	速度快 唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, "html5lib")	最好的容错性 以浏览器的方式解析文档 生成HTML5格式的文档	速度慢 不依赖外部扩展

上面的表格详细的写明白了这个字符串对应各种状况下应该填什么，优劣点都写的很清楚，我就不赘述了。

find_all方法简析：

test = soup.find_all(attrs={'href':re.compile("/update/downloads/id/")})
因为我要抓取当前页面的所有下载链接，所以我首先要找到含有这些链接的所有的网页标签，chrome打开链接，我用Mac的快捷键option+command+i 打开页面，然后shift+command+c 选中左边的显示内容，右边网页元素部分就会高亮对应的标签：

审查网页元素

可以看到右边代码高亮的部分如下：
aurora-051701.dat
下一个下载链接所在的标签：
aurora-051700.dat

看了几个标签之后总结一下规律，发现href中都含有"/update/downloads/id"这个字符串，但是这个字符串并不是完整的href值，所以我们用re.compile("/update/downloads/id")来表示完整的值。
接着说回来find_all():
find_all(name,attrs,recursive,string,**kwargs)

name 参数

name参数可以查找所有名字为 name的tag,字符串对象会被自动忽略掉.简单的用法如下:
soup.find_all("title")# []
重申: 搜索 name参数的值可以使任一类型的 过滤器 ,字符c,正则表达式,列表,方法或是 True.

keyword 参数

如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id的参数,BeautifulSoup会搜索每个tag的”id”属性.
soup.find_all(id='link2')# [Lacie]

如果传入 href 参数,Beautiful Soup会搜索每个tag的”href”属性:
soup.find_all(href=re.compile("elsie"))# [Elsie]

搜索指定名字的属性时可以使用的参数值包括 字符串 , 正则表达式 , 列表, True .
下面的例子在文档树中查找所有包含 id 属性的tag,无论 id 的值是什么:

soup.find_all(id=True)
[//Elsie,
//Lacie,
//Tillie]

使用多个指定名字的参数可以同时过滤tag的多个属性:
soup.find_all(href=re.compile("elsie"), id='link1')
// [three]

有些tag属性在搜索不能使用,比如HTML5中的 data-* 属性:
data_soup = BeautifulSoup('

foo!

')data_soup.find_all(data-foo="value")
// SyntaxError: keyword can't be an expression

但是可以通过 find_all()方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:
data_soup.find_all(attrs={"data-foo": "value"})
// [

foo!

]

按CSS搜索

按照CSS类名搜索tag的功能非常实用,但标识CSS类名的关键字 class 在Python中是保留字,使用 class 做参数会导致语法错误.从BeautifulSoup的4.1.1版本开始,可以通过 class_ 参数搜索有指定CSS名的tag:
soup.find_all("a", class_="sister")
// [Elsie,
//Lacie,
//Tillie]

class_ 参数同样接受不同类型的 过滤器 ,字符串,正则表达式,方法或 True :
soup.find_all(class_=re.compile("itl"))
//[

The Dormouse's story

]def has_six_characters(css_class): return css_class is not None and len(css_class) == 6soup.find_all(class_=has_six_characters)
//[Elsie,
//Lacie,
//Tillie]

tag的 class 属性是 多值属性 .按照CSS类名搜索tag时,可以分别搜索tag中的每个CSS类名:
css_soup = BeautifulSoup('

')css_soup.find_all("p", class_="strikeout")
//[

]css_soup.find_all("p", class_="body")
//[

]

搜索 class 属性时也可以通过CSS值完全匹配:
css_soup.find_all("p", class_="body strikeout")# [

]

完全匹配 class 的值时,如果CSS类名的顺序与实际不符,将搜索不到结果:
soup.find_all("a", attrs={"class": "sister"})
//[Elsie,
//Lacie,
//Tillie]

string参数

通过 string 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, string 参数接受 字符串 , 正则表达式 , 列表, True . 看例子:

soup.find_all(string="Elsie")
//[u'Elsie']soup.find_all(string=["Tillie", "Elsie", "Lacie"])
//[u'Elsie',u'Lacie',u'Tillie']
soup.find_all(string=re.compile("Dormouse"))
//[u"The Dormouse's story", u"The Dormouse's story"]
def is_the_only_string_within_a_tag(s):
""Return True if this string is the only child of its parent tag.""
return (s == s.parent.string)soup.find_all(string=is_the_only_string_within_a_tag)
//[u"The Dormouse's story", u"The Dormouse's story", u'Elsie', u'Lacie', u'Tillie', u'...']

虽然 string参数用于搜索字符串,还可以与其它参数混合使用来过滤tag.Beautiful Soup会找到 .string 方法与 string 参数值相符的tag.下面代码用来搜索内容里面包含“Elsie”的a标签:
soup.find_all("a", string="Elsie")# [Elsie]

limit参数

find_all()方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果.文档树中有3个tag符合搜索条件,但结果只返回了2个,因为我们限制了返回数量:
soup.find_all("a", limit=2)
//[Elsie,
//Lacie]

recursive参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False.
一段简单的文档:
...

是否使用 recursive参数的搜索结果:
soup.html.find_all("title")# []soup.html.find_all("title", recursive=False)# []

这是文档片段
...