寒假学爬虫笔记 NO.1

新闻爬虫1.0 在列表页获取列表和时间

材料:Pycharm,Chrome开发人员工具,infoLite插件,bs4,request

安装包

pip install requests
pip install beautifulsoup4

使用Chrome开发人员工具分析网站

  1. 右键或Ctrl+shift+I打开,F5刷新载入
  2. 打开network页签,点选第二排的小漏斗(filter),点入doc页面,因为新闻都有被检索到的需要,所以一般情况下都可以在第一个doc文档中找到需要的信息。我们现在第一个目标是获取这个页面里所有的国内新闻标题、时间、链接。选择第一个doc,通过responce看看是否有所需信息。
    3.再通过查看header页面可以看到信息被得到的方式是GET,这说明我们可以通过get调用,而通过第一排的Request URL我们就可以知道想要得到网站信息的目标url是什么。

使用request调用网页

request是URL的撷取套件,可以用post\put\get\delete来存取网络资源

import requests
newurl = '目标网站'
res = requests.get(newurl)
res.encoding = 'utf-8'
# 申明编码避免res内容出现乱码

使用BeautifulSoup4进行加工

通过request的get得到了网页的所有内容,但是还有很多不需要用到的样式语言等,本来可以用正则表达式来进行删选,但是这里使用第三方包BeautifulSoup4对原材料进行处理。

soup = BeautifulSoup(res.text,'html.parser')
# 需要注释res的类型是HTML,使用parser对HTML进行解析。

这里需要稍微了解一点HTML/CSS里的DOM Tree知识。
(注:DOM Tree是指通过DOM将HTML页面进行解析,并生成的HTML tree树状结构和对应访问方法。)

DOM TREE.jpg

这方面我自己是理解的,但是理解的不透彻讲不清。详参这里
总之,我们所需要的内容是在各种各样的元素中的,它们可能是含有特定标签的HTML元素,也有可能是含有特定CSS属性的元素。(我所理解的是HTML元素是HTML固有的,结构层次已经划分好了的。而特定CSS属性的元素则是因为特殊的格式需要设置的灵活性的一个元素。一般是通过id和类来设置。)
select
为了得到特定的元素,使用beautifulsoup4中的select
使用方法是:

# 含有特定标签的HTML元素
header = soup.select('h1')
# 含有特定css属性的元素 ID
header = soup.select('#title')
# 含有特定css属性的元素 class
link = soup.select('.link')

select的预设方法是传回一个list,所以用解开列表的方式解开并且取出来就可以。

使用infoLite插件获取

infoLite插件下载地址
接下来,我们就需要知道爬取目标的元素到底是什么。有两种方法,一是借助infoLite插件,一是借助开发工具的elements自己查找。为了保证查找的准确性,两种方法最好都掌握。
首先是使用infoLite插件,点击就可以知道元素的类型。但是有时候情况会比较复杂,比如说,会遇到css类里使用HTML元素的情况。在这种情况下先select CSS 最大共性元素再select出HTML元素。

标题

infoLite.png

(网页其他部分也有h2,可以结合开发工具看更清晰。)

时间
.time

链接
URL链接可以从上面的DOM Tree看到URL是元素的属性,所以需要通过开发工具看。在网页的链接中通常使用a tag去链接其他网页,而href就是连结的桥梁。

列表里其实是一个字典,利用字典的性质,用key(href)调用出链接。

完整

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/china/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.news-item'):
if len(news.select('h2'))>0:
#保证存在,防止遍历时输出空集
h2 = news.select('h2')[0].text
#取出内容
time = news.select('.time')[0].text
a = news.select('a')[0]['href']
print (time,h2,a)

学习参考自此网站

你可能感兴趣的:(寒假学爬虫笔记 NO.1)