Python爬虫-Xpath-魔方公寓数据

这周的练习之一是爬取魔方公寓的出租房，它的网页结构还比较清楚，没什么隐藏。
目的也很单纯，就是取名称、地址、月租均价。

1.png

我的基础还是太太太薄弱，爬第一个项目：地址的时候就被卡住了，尝试n次排列组合无果，还被大神批评思路不对：只爬一个地址就要写一段，那爬其他的再写n段？——其实我也不是逻辑那么不清楚，只不过我连一个地址都搞不定，遑论其他啊...
经过大神解说，我觉得我还是对html编码不熟悉，所以该摘取的没有摘取，该绕过的没有绕过。我也不贴自己的坑了，反正每个小白都有这么一段黑历史...直接解说正确答案吧。

#coding:utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import requests
from lxml import etree
#以上都是前面作业的模板

#第一步：网页主页（南京分舵） http://www.52mf.com.cn/Search/Orgs?city=%E5%8D%97%E4%BA%AC'
html = requests.get('http://www.52mf.com.cn/Search/Orgs?city=%E5%8D%97%E4%BA%AC').content
selector=etree.HTML(html)
#第二步：每个店的编码段
infos=selector.xpath('//div[@class="orgs-room clearfix"]/div[2]')

未标题-1.jpg

这里我学到一个小技巧，还是要通过点选，这里点了"orgs-room clearfix"这行，相应区域就自动暗下来，反过来也是这样。所以第二级的编码应该选这个。
此外，class前面要加@，后面因为是第二级分区，所以是div[2]（这个是我的弱点，还是对html编码太陌生了）

第三步是取出名称，地址和均价，图片略过。

QQ图片20170509154805.png

这里店名编码"room-hd"后面有个"/a"，所以不要略过。对于小白来说，什么时候取div，什么时候取p，什么时候加a，可以从下面的标签得到提示。
地址和价格也照样进行，价格那里有个粗体的stong，也加上。

for info in infos:
    shop_name=info.xpath('p[@class="room-hd"]/a/text()')[0]
    address=info.xpath('p[@class="address"]/text()')[0]
    room_money=info.xpath('p[@class="room-money"]/strong/text()')[0].lstrip('均价：￥').rstrip('/月')
    print shop_name,address,room_money

最后还有一个坑：打印出来的店名，地址和月租都是列表，所以加入[0]要选取第一个!
lstrip和rstrip都是把均价的左右字符删掉，这样爬出来就只有数字了。

---

如果不想只打南京的，那么就加一个城市列表好了。这段是程工示例，我还在理论研究阶段，不卖弄了。

if __name__ == '__main__':
    base_url='http://www.52mf.com.cn/Search/Orgs?city=%s'
    city_list=['北京','上海','南京','苏州']
    for city in city_list:
        url=base_url % city.encode('utf-8')
        get_shop_data(url)

然后就得到一个好整齐的信息列表，我直接贴到excel用空格分列就好了。当然日后还是要学习怎么写入文件的。
我觉得我的思路还是正确的，就是几乎，完全，没有技术能力。首先要好好学习最基本的html，更别说前面还有各种花式等着呢。总是想象自己好像冰川时代那只松鼠，用自己的大门牙啃冰山ing...
希望对其他小白有帮助。Done.