Python批量爬取多家公司新闻
学习笔记整理：源代码来自华小智系列书，读代码时标注了自己的疑问和理解，希望对一起在学习的人有帮助。
import requests
import re
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
##问题：这里的User-Agent是怎么获得的？在Google网页搜索栏里搜索"about：version"，查看"用户代理"
def baidu(company):
url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=' + company # 把链接中rtt参数换成4即是按时间排序，默认为1按焦点排序，3.4.1小节也有讲到
##问题：可以看看第二页搜索页，网页链接的代码规律；
##此链接得到途径：百度搜索关键词-开发-用google浏览器打开-在搜索框下面选择"资讯"，不过实际显示的链接在company后面还加了"&medium0",有没有变化不大。
## 搜索****-点“资讯” -- 得到网页链接
##按焦点排序资讯：https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word=%E5%8D%8E%E8%83%BD%E4%BF%A1%E6%89%98
##按时间排序资讯：https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd=%E5%8D%8E%E8%83%BD%E4%BF%A1%E6%89%98&medium=0
##按焦点排序资讯第二页：https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word=%E5%8D%8E%E8%83%BD%E4%BF%A1%E6%89%98&x_bfe_rqs=03E80&x_bfe_tjscore=0.000000&tngroupname=organic_news&newVideo=12&rsv_dl=news_b_pn&pn=10
##区别在于第一页什么都没加，第二页最后加了"pn=10",第三页加了"pn=20",因为每一页有10个新闻
res = requests.get(url, headers=headers).text # 加上headers用来告诉网站这是通过一个浏览器进行的访问
# print(res)
p_href = '
href = re.findall(p_href, res, re.S) #re.S自动考虑源代码换行，爬取新闻链接，一次性会爬取出10个网页链接，每个都存在这个叫"href"的链表里
p_title = '.*?>(.*?)
'
title = re.findall(p_title, res, re.S) ##爬取出新闻标题
p_date = '(.*?)'
date = re.findall(p_date, res) ##爬取新闻发布日期
p_source = '(.*?)'
source = re.findall(p_source, res) ##爬取新闻来源
#
for i in range(len(title)): # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)
title[i] = title[i].strip() # strip()函数用来取消字符串两端的换行或者空格，不过这里好像不太需要了
title[i] = re.sub('<.*?>', '', title[i]) # 核心，用re.sub()函数来替换不重要的内容
print(str(i + 1) + '.' + title[i], source[i], date[i])
print(href[i])
companys = ['华能信托', '阿里巴巴', '万科集团', '百度集团', '腾讯', '京东']
for i in companys: # 这个i只是个代号，可以换成其他内容
baidu(i)
print('成功！')
最后的运行结果示例
