python爬虫之抓取网页新闻标题与链接

用chrome的原生工具--检查,找查网页标题与链接对应的元素

 

python爬虫之抓取网页新闻标题与链接_第1张图片

可看到,大标题‘中兴与美商务部达成和解协议:支付10亿美元罚款’对应的网页元素是:

中兴与美商务部达成和解协议:支付10亿美元罚款

 

所以选中 main-title

贴入代码:

python爬虫之抓取网页新闻标题与链接_第2张图片

获取新闻来源和时间:

python爬虫之抓取网页新闻标题与链接_第3张图片

用soup将时间和来源截取出来

再分别截取:

python爬虫之抓取网页新闻标题与链接_第4张图片

python爬虫之抓取网页新闻标题与链接_第5张图片

 

你可能感兴趣的:(Python)