用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)

1. 安装并导入库 

       用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第1张图片

2. 添加url和代理,防止反爬

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第2张图片

 3. 进入页面,查找元素所在位置

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第3张图片用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第4张图片

4. 请求url

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第5张图片

5. 解析url,得到房子的各种数据

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第6张图片

6.运行结果

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第7张图片

7. 保存数据位xlsx类型

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第8张图片用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第9张图片

 8.将数据添加到MySQL数据库

        1、创建表,添加相应字段

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第10张图片

        2、连接本机MySQL

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第11张图片

         3、将数据导入MySQL

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第12张图片

用Python爬虫爬取链家网上的房源信息(保存到MySQL和xlsx)_第13张图片

你可能感兴趣的:(爬虫,python,mysql)