python爬虫代码更新

昨天和室友看《Python 金融大数据挖掘与分析全流程详解》第67,68页的代码时,发现网页已经更新了,代码运行错误。

先看结果,

python爬虫代码更新_第1张图片

大致由三部分组成,标题,时间,和链接。

打开爬虫的网页

python爬虫代码更新_第2张图片

 

缺个链接,按f12,打开开发者工具

python爬虫代码更新_第3张图片

 

python爬虫代码更新_第4张图片

python爬虫代码更新_第5张图片

在开发者工具上面出现这个网页代码,这个截图结果可能在网页右边,也可能在下面

python爬虫代码更新_第6张图片

这样大家都发现了,链接和标题都有了,可以写正则

p_href = '

还剩下时间和作者,继续按照上面的方式查找

python爬虫代码更新_第7张图片

python爬虫代码更新_第8张图片

python爬虫代码更新_第9张图片

这样一来,就发现了作者和时间继续正则

p_info = '(.*?)'
info = re.findall(p_info, res, re.S)

最后再上完整代码,

import requests
import re

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
                         'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
url = 'https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&word=阿里巴巴&x_bfe_rqs=03E80&x_bfe_tjscore=0.596217&tngroupname=organic_news&newVideo=12&rsv_dl=news_b_pn&pn=20'
res = requests.get(url, headers=headers).text
# https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&word=阿里巴巴&x_bfe_rqs=03E80&x_bfe_tjscore=0.596217&tngroupname=organic_news&newVideo=12&rsv_dl=news_b_pn&pn=20
p_info = '(.*?)'
info = re.findall(p_info, res, re.S)
p_href = '

', '', title[i]) info[i] = re.sub('<.*?>', '', info[i]) source.append(info[2*i]) date.append(info[2*i+1]) source[i] = source[i].strip() date[i] = date[i].strip() print(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')') print(href[i])

在最后,希望大家不要照搬书本,自己好好分析,打好基础,加油。

你可能感兴趣的:(python)