python代码_基于python爬取链家二手房信息代码示例_python

 更新时间：2020年10月21日 10:47:27   作者：六月流火  

这篇文章主要介绍了基于python爬取链家二手房信息代码示例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

基本环境配置

• python 3.6
• pycharm
• requests
• parsel
• time

相关模块pip安装即可

确定目标网页数据

哦豁，这个价格..................看到都觉得脑阔疼

通过开发者工具，可以直接找到网页返回的数据~

每一个二手房的数据，都在网页的 li 标签里面，咱们可以获取网页返回的数据，然后通过解析，就可以获取到自己想要的数据了~

获取网页数据

import requests
headers = {
  'User-Agent': 'Mozilla/ (Windows NT 10.0; WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/'
}
response = (url=url, headers=headers)

解析网页数据

import parsel
selector = ()
lis = ('.sellListContent li')
dit = {}
for li in lis:
  title = ('.title a::text').get()
  dit['标题'] = title
  positionInfo = ('.positionInfo a::text').getall()
  info = '-'.join(positionInfo)
  dit['开发商'] = info
  houseInfo = ('.houseInfo::text').get()
  dit['房子信息'] = houseInfo
  followInfo = ('.followInfo::text').get()
  dit['发布周期'] = followInfo
  Price = ('.totalPrice span::text').get()
  dit['售价/万'] = Price
  unitPrice = ('.unitPrice span::text').get()
  dit['单价'] = unitPrice
  (dit)
  print(dit)

保存数据

import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = (f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
()
(dit)
()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

• 

  对Python 内建函数和保留字详解

  今天小编就为大家分享一篇对Python 内建函数和保留字详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

  2018-10-10
• 

  详解Python的单元测试

  这篇文章主要介绍了Python的单元测试,代码基于版本,需要的朋友可以参考下

  2015-04-04
• 

  通过python实现随机交换礼物程序详解

  这篇文章主要介绍了通过python实现随机交换礼物程序详解的,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

  2019-07-07
• 

  python实现ip代理池功能示例

  这篇文章主要介绍了python实现ip代理池功能,结合实例形式分析了Python IP代理池的实现原理及相关操作技巧,需要的朋友可以参考下

  2019-07-07