PYTHON实战计划练手项目3--爬取租房信息

相比昨天，对BeautifulSoup的使用熟练了点，但各方法的理解还是不够，会对list进行get_text()方法，在这里绕了不少圈子，另外，爬取网页的时候还是要加深对HTML和CSS的理解才能更好的找到筛选出所需信息的条件，不管怎么，顺利完成练手项目。

结果展示

Paste_Image.png

我的代码

from bs4 import BeautifulSoup
import requests
import time

#获取详情页链接
def get_url_xz(n=1):  #通过参数n来控制爬取的页数，默认为一页
    urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)]  # 列表页链接列表
    urls_attr = []  # 详情页链接列表
    #通过for循环，把列表页的详情页链接加入urls_attr
    for url_single in urls_list:
        wb_data = requests.get(url_single)
        time.sleep(2)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
        for url in urls:
            urls_attr.append(url.get('href'))
    return urls_attr

#爬取详情页数据
def get_attractions_xz(url,data=None):
    for each_url in url:
        wb_data = requests.get(each_url)  # 获取页面内容
        time.sleep(2)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        # print(soup)
        # 获取目标信息
        title = soup.select('div.pho_info > h4 > em')              # 标题
        address = soup.select('div.pho_info > p > span')           # 地址
        price = soup.select('div.day_l > span')                    # 价格
        pic_fd = soup.select('div.member_pic > a > img')           # 房东照片
        name = soup.select('div.w_240 > h6 > a')                   # 房东姓名
        sex = soup.select('div.w_240 > h6')                        # 房东性别
        img = soup.select('div.pho_show_big > div > img')          # 第一张图片链接
        # print(titls,address,price,pic_fangdong,name,sex,img)

        # 据分析，若房东为男性，则用的CSS为'member_boy_ico'，否则为女性，通过条件判断为sex赋值
        if len(sex[0].find_all("span", class_="member_boy_ico")):
            sex = 'Male'  # 男性
        else:
            sex = 'Female'  # 女性
        data = {
            'title': title[0].get_text(),
            'addres': address[0].get_text().split('\n')[0],  # 地址中包含换行符及一行空格，通过分割，只保留地址部分
            'price': '￥' + price[0].get_text(),
            'pic_fd': pic_fd[0].get('src'),
            'name': name[0].get("title"),  # 房东姓名在title属性中，用get方法获取
            'sex': sex,
            'img': img[0].get('src')
        }
        print(data)

url=get_url_xz(n=3) #获取3页的所有详情页链接,页数可自由选择
get_attractions_xz(url)

总结

1.在写代码的过程中，网页的样式发生了变化，房东信息那部分发生了变化，重写这部分代码；
2.运行效率有点慢，可能是sleep的原因，后面再研究一下；
3.要加深对网页的了解，前面分析时间耗时有点久。