Python批量爬取多家公司新闻

学习笔记整理：源代码来自华小智系列书，读代码时标注了自己的疑问和理解，希望对一起在学习的人有帮助。

import requests
import re
headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
##问题：这里的User-Agent是怎么获得的？在Google网页搜索栏里搜索"about：version"，查看"用户代理"
def baidu(company):
    url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=' + company  # 把链接中rtt参数换成4即是按时间排序，默认为1按焦点排序，3.4.1小节也有讲到
    ##问题：可以看看第二页搜索页，网页链接的代码规律；
    ##此链接得到途径：百度搜索关键词-开发-用google浏览器打开-在搜索框下面选择"资讯"，不过实际显示的链接在company后面还加了"&medium0",有没有变化不大。
    ## 搜索****-点“资讯” -- 得到网页链接
    ##按焦点排序资讯：https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word=%E5%8D%8E%E8%83%BD%E4%BF%A1%E6%89%98
    ##按时间排序资讯：https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd=%E5%8D%8E%E8%83%BD%E4%BF%A1%E6%89%98&medium=0
    ##按焦点排序资讯第二页：https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word=%E5%8D%8E%E8%83%BD%E4%BF%A1%E6%89%98&x_bfe_rqs=03E80&x_bfe_tjscore=0.000000&tngroupname=organic_news&newVideo=12&rsv_dl=news_b_pn&pn=10
    ##区别在于第一页什么都没加，第二页最后加了"pn=10",第三页加了"pn=20",因为每一页有10个新闻
    res = requests.get(url, headers=headers).text  # 加上headers用来告诉网站这是通过一个浏览器进行的访问
    # print(res)

    p_href = '

    href = re.findall(p_href, res, re.S) #re.S自动考虑源代码换行，爬取新闻链接，一次性会爬取出10个网页链接，每个都存在这个叫"href"的链表里
    p_title = '
.*?>(.*?)'
    title = re.findall(p_title, res, re.S) ##爬取出新闻标题
    p_date = '(.*?)'
    date = re.findall(p_date, res) ##爬取新闻发布日期
    p_source = '(.*?)'
    source = re.findall(p_source, res) ##爬取新闻来源
    #

    for i in range(len(title)):  # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)
        title[i] = title[i].strip()  # strip()函数用来取消字符串两端的换行或者空格，不过这里好像不太需要了
        title[i] = re.sub('<.*?>', '', title[i])  # 核心，用re.sub()函数来替换不重要的内容
        print(str(i + 1) + '.' + title[i], source[i], date[i])
        print(href[i])


companys = ['华能信托', '阿里巴巴', '万科集团', '百度集团', '腾讯', '京东']
for i in companys:  # 这个i只是个代号，可以换成其他内容
    baidu(i)
    print('成功！')

最后的运行结果示例