爬取段子网里面的搞笑段子

用python把段子都爬下来，用到两个库

一个是requests库和etree库
用到的段子网址为段子网址

点击网址进入页面

分析网页，按F12进入开发者模式，可以看到一条一条的数据都是在这个li列表里面，如果觉得很难找到爬取的内容的话也可以使用xpath-helper工具

代码如下：

import requests
from lxml import etree

def get_url(url):
	response = requests.get(url)
	html_str = response.content.decode()
	html = etree.HTML(html_str)
	ret = html.xpath("//div/div[@id='list']/ul/li")
	for table in ret:
		item = {}
		item['title'] = table.xpath(".//div[@class='info']/a//text()")
		item['content'] = table.xpath(".//div[@class='content']//text()")
		print(item)

if __name__ == '__main__':
	get_url('https://ishuo.cn/')

这里只是爬取了标题和内容，感兴趣的话还可以爬取作者，评论，赞数等
爬取到的效果图如下

正在尝试写博客，把会的分享给你们，如有写的不好的地方，希望指点一下，谢谢！