课时8

爬取网页三步走

 ](http://upload-images.jianshu.io/upload_images/2052237-2d487d3fb8b8710a.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

• python打开本地文件

path = 'C:/Users/Google/Desktop/web/new_index.html'
with open(path, 'r') as f:
    Soup = BeautifulSoup(f.read(), 'lxml')

• 依次选择审查元素 自己需要的selector

1.jpg

直接copy的 selector 和在浏览器看见的层级关系 比对下

body > div.main-content > ul > li:nth-child(1) > img

1.jpg

li:nth-child(1) 改成 nth-of-type（1）

• 那么我会按照层级关系 替换成图片的那样, 再者把

body > div.main-content > ul.articles > li > img
images = Soup.select('body > div.main-content > ul.articles > li > img')

• print 函数里面 如果有多个不同类别的结果，想分割的话 如下

print(images,titles,sep'\n---------\n')

• 那么当找到的结果是多个的时候 返回的就是一个列表，如果要单独操作就需要for 循环，

for title in titles: #这个是一个元素的时候
for title, pic, desc, rate, cate in zip(titles, pics, descs, rates, cates): # 这个是多个 元素的  的时候 需要集体赋值。

• 先说说字典构造

1.jpg

• 那么 下一步就需要取具体某个元素里面的值。

'title': title.get_text(), #这个是取文本
'pic': pic.get('src'),#取 标签里面 src的 值
'cate': list(cate.stripped_strings)#多对一

• 如果是多对一结构的时候 我们就应该在他的父级标签停下来。

1.jpg

这里面就要把 span 这个给删了 因为

1.jpg

我们要获取里面的多个标签。 下一步就要获取一个父级标签下面子标签下的所有文本信心， 就用 .stripped_strings 这个方法，由于是成组的标签 所以我们要把它列表化。

'cate': list(cate.stripped_strings)

• 下面要找出所有分数大于3 的文章， 那么我应该把数据添加到列表里面然后再筛选。
  第一步建立空列表，

1.jpg

第二步 添加数据到列表

2.jpg

第三步 筛选

1.jpg

这里面有两点 第一用for函数分别取出， 第二 float 字符串为数字， 以及怎么取字典里面的键值。