Python学习日记2| 用python爬取小猪短租网站上北京地区前10页的数据

今天是3.29号。

今天下午去面试搜芽公司的运营助理，问的问题没有很深入，提到说如果为达到某个目标，若一个路径走不通时要尽快调整方向，这是运营的基本能力。可能因为是初创公司，要求不是很高然后其它问了一些简单的问题就草草结束。说实话，自己虚荣心很强，不止一次想的是，等毕业时要么加入一个名气不错的公司，要么小公司但薪水不错，名和利总要有一头能够摸着吧。不然宁肯选择回老家，真的。

后天上午就是开题报告，应该也是很随意的那种，老师们也主要是为了研三的预答辩。刚刚老师发来一个邮件让投一篇会议论文，邮件最后加了说不要一次一次放纵自己，简直了，不就是因为去年让自己投会议论文自己没完成吗。算了，如果四月份还没找到实习，就一边学习python，一边把会议论文先搞完吧。

---

这周学习python和mongoDB的结合应用，在过程中遇到一些问题：
(1)首先在保存房源链接时一直报错，调整了函数def get_url(start_url)才解决。
(2)数据在保存到字典中时，由于用不着zip()函数，所以用soup.select()时选取CSS路径都要加[0]。
(3)将数据保存到mongo中后发现租房的价格是以字符串型保存的，然后对mongo中的字符串型价格进行了转化。

最后贴上代码吧。一切顺利。

---

# -*- coding: utf-8 -*-

#目的是爬取前10页房源信息并写进mongo数据库中

a=[]
start_url=['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,11)]

from bs4 import BeautifulSoup   
import requests
import pymongo

client=pymongo.MongoClient('localhost',27017)#打开数据库端
bnb=client['bnb']#这里建立一个库,怎样直接在已有库下面建表还未解决
house_info=bnb['house_info']

#首先爬下10页房源的连接，并存储起来放在列表中
def get_url(start_url):
    for url in start_url:
        web_data=requests.get(url)
        soup=BeautifulSoup(web_data.text,'lxml')
        all_url=soup.select('#page_list > ul > li > a')#把一个页面上的包含链接的所有内容选出来
        for item in all_url:
            b=item.get('href')
            a.append(b)
    return a
# #利用详情页爬取具体信息的标题、地址、日租金价格、房源图片链接、房东姓名、性别、房东图片连接
# #由于页面中抓取的信息是单个的，所以会用到soup.select('')[0]

def get_info(a):
    for url in a:
        start1_data=requests.get(url)
        soup=BeautifulSoup(start1_data.text,'lxml')
        title=soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')[0]
        address=soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span.pr5')[0]
        price=soup.select('#pricePart > div.day_l > span')[0]
        img_1=soup.select('#curBigImage')[0]
        name=soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')[0]
        sex=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')[0].get('class')[0]
        img_2=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img')[0]

#特别要注意：由于用soup.select()选取路径下的信息都是列表的形式，而用get_text或者get('src')时都是只能针对单一对象不能是列表
# 所以在教程中看到用了zip()函数，如果像本文中的，一个页面只有唯一的一个信息，则用不着zip()函数，那么在构造字典之前在
#使用soup.select()时后面都要加上[0]

        data={'title':title.get_text(),
              'addre':address.get_text(),
              'price':price.get_text(),
              'img_1':img_1.get('src'),
              'name':name.get_text(),
              'sex':gender(sex),
              'img_2':img_2.get('src')
              }
        house_info.insert_one(data)#insert_one插入时一次只能插入一条
    print('the work has finished! ')

#对性别进行判断
def gender(class_name):
    if class_name=='member_ico':
        return 'male'
    else: return 'famale'

get_info(get_url(start_url))

#插入数据之后，进行下一步操作前一定要把之前的代码注释掉，以免造成重复插入数据
for x in bnb.house_info.find({'price':{'$type':2}}):
    x['price']=int(x['price'])
    bnb.house_info.save(x)
    if x['price']>=300:
        print(x)

---