Python实战课程第一周第三课：跟着教程爬取本地网页

今天终于开始学习爬取网页了，今天也是模仿老师的课程，敲打一次代码。
课程主要内容是提取网页的标题、标签、热度和图片的网址。最后提取热度大于3的文章。

我的成果：

12.JPG

我的代码：

from bs4 import BeautifulSoup
info = []
with open('E:/1080P/web/new_index.html','r') as wb_data:
    Soup = BeautifulSoup(wb_data,'lxml')
    images = Soup.select('body > div.main-content > ul > li > img')
    titles = Soup.select('body > div.main-content > ul > li > div.article-info > h3 > a')
    descs = Soup.select('body > div.main-content > ul > li > div.article-info > p.description')
    rates = Soup.select('body > div.main-content > ul > li > div.rate > span')
    cates = Soup.select('body > div.main-content > ul > li > div.article-info > p.meta-info')
#    print(images,titles,descs,rates,cates,sep='\n-------------------\n')


for title,image,desc,rate,cate in zip(titles,images,descs,rates,cates):
    data = {
        'title':title.get_text(),
        'descs':desc.get_text(),
        'rate': rate.get_text(),
        'cate': list(cate.stripped_strings),
        'image': image.get('src')
    }
    info.append(data)

for i in info:
    if float(i['rate'])>3:
        print(i['title'],i['cate'])

我的总结

1. 使用BeautifulSoup解析网页必须在开头就标明代码。

from bs4 import BeautifulSoup

这句话不能少。

2. with open就是打开文件的意思，后面的'r'就是查阅文件，而之前学的'w'就是编写文件，不存在的话会新建一个。as wb_data，就是赋予这个文件一个名称。
3. 后面那段就用上了BeautifulSoup和lxml这两个库了。这样一个网页就被解析出来了。

Soup = BeautifulSoup(wb_data,'lxml')

4. 解析整个网页后，我们需要对各个提取的元素进行路径提取，为的是获取各个元素的内容。这里用Soup.select()完成。
5. 不过要注意路径，必须将路径中的子孙节点去掉。这样才能够一下子提取所有的节点信息。
6. sep='\n----------\n',这个是用-------------分隔开打印结果的意思。
7. 用for .... in ...循环函数，将集合中的元素赋予到变量里面。in zip就是打包到一个统一的地方。
8. 大部分情况下，可以用get_text函数来解决问题，提取元素中的文字信息。如果针对图片地址，要用get('src')。如果针对标签的话，要更复杂一点，因为标签是多对一的关系，必须先将路径清理干净，然后用stripped_strings来提取，前面加个list函数帮助排列。
9. 最后，我们还要将热度3以上的文章找出来。这里再用一次for ... in ...，不过我们需要提前将上面的元素放到一个叫info的集合里面。