《Python网络爬虫从入门到实践》实现深圳租房信息抓取

爬取网站：https://zh.airbnb.com/s/Shenzhen--China?page=1

1.点击下部显示全部按钮，将租房信息全部显示

2.设置循环，一页一页获取

3.查看网页源码，寻找标签

__author__ = 'Administrator'
from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path = r'D:\python3\chromedriver.exe')
#在虚拟浏览器中打开 Airbnb 页面
driver.get("https://zh.airbnb.com/s/Shenzhen--China?page=1")
#time.sleep(1)
#找到页面中所有的出租房
nextpage = driver.find_element_by_css_selector('#site-content > div > div > div:nth-child(4) > div > div > div > div:nth-child(2) > div > div._ttoj70 > a').click()

time.sleep(2)
for i in range(0,5):
    rent_list = driver.find_elements_by_css_selector('div._8ssblpx')

    for eachhouse in rent_list:
        #print(eachhouse)
        price = eachhouse.find_element_by_css_selector('div._qg0ydb')
        price = price.text[4:].replace('\n','')

        #找到名称
        name = eachhouse.find_element_by_css_selector('div._qhtkbey')
        name = name.text

        #找到房屋类型，大小
        details = eachhouse.find_elements_by_css_selector('span._fk7kh10')
        #print(details[0].text)
        details = details[0].text
        house_type = details.split(" · ")[0]
        bed_number = details.split(" · ")[1]
        print (price, name, house_type, bed_number)
    nextpage1=driver.find_elements_by_css_selector('div._1m76pmy')
    time.sleep(2)

38每晚 【十二微邸】14J-KKmall楼上的城市微魔方 整套公寓 1室1.5卫1床
45每晚 [Misa’s house] ‘想‘老街地铁口/kkmall万象城罗湖口岸/ins风商务房/直达香港 整套公寓 1室1卫2床
37每晚 【宫遇】17-KKmall楼上一房一厅--【Loft时代】 整套公寓 1室1卫1床
50每晚 LADYMA |原宿 摩洛哥风格 福田CBD会展中心#家庭影院CocoPark福田皇岗口岸岗厦地铁口 整套公寓 1室1卫1床
41每晚 【GAO's Home】福田中心区设施齐备的品质温馨小家（近市中心、会展中心、福田口岸） 整套公寓 1室1卫1床
34每晚 [Studio Q-Cozy]KKmall楼上/大剧院站/京基100/Luohu/深圳罗湖 整套公寓 单间1卫1床
22每晚 深圳北站 大床房 直达香港口岸/出差首选 1.8米超大床房 温馨舒适北欧风公寓 独立房间 1室2卫1床
38每晚 【十二微邸】32Q-KKmall楼上的天空微城堡 整套公寓 1室1卫1床
61每晚 燈塔·時光 Clean warm and cozy place 整套公寓 1室1.5卫1床
67每晚 【沿线】大梅沙180°海景工业风大床房,海滩旁,近东部华侨城 整套公寓 1室1卫1床
41每晚 【猫薄荷】近罗湖/福田口岸|美食街道|loft公寓|巨幕投影|泡泡吊椅 整间LOFT 1室1卫1床
26每晚 暖空调 马赛克浴缸 溜达家英式 一房里的精致生活 整租 3号线地铁口 龙岗中心城大运中心万