爬取网站文章标题

检查网页源代码,确实标题的类名即可:

爬取网站文章标题_第1张图片 代码就可以这样写了

import requests
from bs4 import BeautifulSoup
link="http://www.santostang.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
r=requests.get(link,headers=headers)
soup=BeautifulSoup(r.text,'lxml')
title_list=soup.find_all(attrs={"class":"post-title"})
for i in range(len(title_list)):
    title=title_list[i].a.text.strip()
    print('第%s篇文章的标题是:%s'%(i+1,title))

爬取网站文章标题_第2张图片

你可能感兴趣的:(python爬虫学习)