QUST 爬虫

打开网页链接：https://sh.lianjia.com/zufang/

按F12打开网页源代码（我的电脑fn+f12会默认打开飞行模式 只按f12才能打开源代码）

使用左上角的后，选择浦东

我们得到：

需要导入的库

主函数

 

 爬取的链接为：

https://sh.lianjia.com/zufang/

保存路径为"链家.xls"

对数据进行分析：

 

保存在excel"链家.xls"里：

伪装爬虫成网页，防止爬取时被网站禁止：

用正则表达式获取网页信息：

findplace1 = re.compile(
    r'(.*)-.*-.*')  
findplace2 = re.compile(
    r'.*-(.*)-.*')

 获得房源的其他信息：

 运行结果如下：

 

同时，我们也可以采用数据库存储：

 创建数据库

 爬取结果：