Python实战计划学习笔记示例（3） 爬取租房信息

学习Python第二节课，爬取商品信息

1 目标任务

1.1进入小猪租（http://bj.xiaozhu.com/search-duanzufang-p1-0/），从列表页面进入第一个详情页，爬取“标题”、“地址”、“日租金”、“第一张房源图片链接”、‘“房东图片链接”、“房东性别”、“房东名字”。

目标任务1-1

目标任务1-2

1.2爬取10页面房源信息

目标任务2

2 爬取结果

爬取结果.jpg

3 我的代码

#! /usr/bin/env python
# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup
import requests

def get_links(url):

    # 向服务器请求获取网页内容并赋值给wb_data
    wb_data = requests.get(url)

    # 解析网页
    soup = BeautifulSoup(wb_data.text, 'lxml')

    # 获取列表页商品信息
    links = soup.select('#page_list > ul > li > a ')

    # 获取10个列表页商品的内容
    for link in links:
        href = link.get('href')
        get_detail_info(href)

# 判断房东性别
def get_lorder_sex(class_name):
    if class_name == ['member_ico']:
        return '男'
    else:
        return '女'

def get_detail_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')

    # 获取标题
    titles = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')

    # 获取地址
    addresss = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span')

    # 获取价格
    prices = soup.select('#pricePart > div.day_l > span')

    # 获取图片
    images = soup.select('#curBigImage')

    # 获取房东头像
    avartars = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img')

    # 获取房东姓名
    names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')

    # 获取房东性别
    sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > span')

    # 从标签中提取内容
    for title, address, price, image, avartar, name, sex in zip(titles, addresss, prices, images, avartars, names, sexs):
        data = {
            'title':title.get_text(),
            'address':address.get_text(),
            'price':price.get_text(),
            'image':image.get('src'),
            'avartar':avartar.get('src'),
            'name':name.get_text(),
            'sex':get_lorder_sex(sex.get('class'))
        }
    print(data)

# 批量获取链接
urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,10)]
for single_url in urls:
    get_links(single_url)

4 总结

4.1 使用request函数，向服务器请求网页内容
4.2 使用format语句、for语句批量获取网页地址
4.3 在代码执行过程中，语句逐条执行，不可乱序，视乎不像C语言有函数的入口。
若将批量获取链接的代码放到 def get_links(url)语句的前端会进行报错。