python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库

我最近在学习python爬虫,然后正好碰上数据库课设,我就选了一个连锁药店的,所以就把网上的药品信息爬取了下来。

1,首先分析网页

python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库_第1张图片

2,我想要的是评论数比较多的,毕竟好东西大概是买的人多才好。然后你会发现它的url地址是有规律的里面的j1是指第一页,j2第二页,这样构建一个url_list。

1 url_list = ‘https://www.111.com.cn/categories/953710-a0-b0-c31-d0-e0-f0-g0-h0-i0-j%s.html‘#然后循环获取响应

2

3 for i in range(1, 30):4

5 response = requests.get(url_list % i, headers=headers)

3,然后就可以进行数据的提取,我是利用Chrome的xpath插件,不过一定要注意有时候你复制的xpath不一定准确需要自己分析

我这里是演示提取价格,定位到价格选中后在Element里找到后点鼠标右键找到copy然后选择copy xpath,上面那个黑框就是xpath插件

python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库_第2张图片

4,连接数据库,我的数据库是mysql的

连接数据库的代码一般是这样

你可能感兴趣的:(python爬虫抓取信息)