PYTHON实战计划Week2-1：在 MongoDB 中筛选房源

之前用过SQL，在使用Mongo的查询时，很不适应，需要一 个过渡的过程，代码直接在week1-3的作业中进行修改的

我的代码

from bs4 import BeautifulSoup
import requests,pymongo
import time

client = pymongo.MongoClient('localhost',27017)
xz_db = client['xz_db']
houseinfo = xz_db['houseinfo']


#获取详情页链接
def get_url_xz(n=1):  #通过参数n来控制爬取的页数，默认为一页
    urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)]  # 列表页链接列表
    urls_attr = []  # 详情页链接列表
    #通过for循环，把列表页的详情页链接加入urls_attr
    for url_single in urls_list:
        wb_data = requests.get(url_single)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
        for url in urls:
            urls_attr.append(url.get('href'))
    return urls_attr

#爬取详情页数据
def get_attractions_xz(url,data=None):
    for each_url in url:
        wb_data = requests.get(each_url)  # 获取页面内容
        soup = BeautifulSoup(wb_data.text, 'lxml')
        # print(soup)
        # 获取目标信息
        title = soup.select('div.pho_info > h4 > em')              # 标题
        address = soup.select('div.pho_info > p > span')           # 地址
        price = soup.select('div.day_l > span')                    # 价格
        pic_fd = soup.select('div.member_pic > a > img')           # 房东照片
        name = soup.select('div.w_240 > h6 > a')                   # 房东姓名
        sex = soup.select('div.w_240 > h6')                        # 房东性别
        img = soup.select('div.pho_show_big > div > img')          # 第一张图片链接
        # print(titls,address,price,pic_fangdong,name,sex,img)

        # 据分析，若房东为男性，则用的CSS为'member_boy_ico'，否则为女性，通过条件判断为sex赋值
        if len(sex[0].find_all("span", class_="member_boy_ico")):
            sex = 'Male'  # 男性
        else:
            sex = 'Female'  # 女性
        data = {
            'title': title[0].get_text(),
            'addres': address[0].get_text().split('\n')[0],  # 地址中包含换行符及一行空格，通过分割，只保留地址部分
            'price': int(price[0].get_text()),
            'pic_fd': pic_fd[0].get('src'),
            'name': name[0].get("title"),  # 房东姓名在title属性中，用get方法获取
            'sex': sex,
            'img': img[0].get('src')
        }
        print(data)
        houseinfo.insert_one(data)
        print('Done')

#将数据保存至Mongo数据库
url=get_url_xz(n=3) #获取3页的所有详情页链接,页数可自由选择
get_attractions_xz(url)

#读取所需的数据
#房价大于500的房子信息
for item in houseinfo.find({'price': {'$gt':500}}):
    print(item)
# 分割线
print('\n' + '-'*200 +'\n')
#房价小于500的房子信息
for item in houseinfo.find({'price': {'$lt':500}}):
    print(item)
# 分割线
print('\n' + '-'*200 +'\n')
#房东为女性，房价大于300
for item in houseinfo.find({'price': {'$gt':300}} and {'sex': 'Female'} ):
    print(item)

总结

1.还得去认真学习Mongo的操作语言；
2.想在python中实现Mongo的like 查询，在mongo shell中可以这样db.test.find({'name':/hucuibai/}),但在python中会报错，请问老师，在python中应该怎么写。