Python实战计划week2_2项目

python实战计划的第六个项目：爬取手机号。

一、任务介绍
1.抓取58同城-武汉区域的手机号类目下1-10页帖子的标题和链接，存到数据库。
2.从数据库中读取每个链接，并爬取出每个商品的标题和价格。

二、任务分析
首先建立一个叫phone的数据库，随后创建phone_link表单和phone_info表单。

1.先写出get_links()函数，传入页面数参数后，获取整个页面的标题以及链接 ,插入到phone_link表单。

# 传入页面数，获取整个页面的标题以及链接 ,插入到phone_link表单
def get_links(page):
    url = 'http://wh.58.com/shoujihao/pn{}/'.format(page)
    wb_data = requests.get(url)
    time.sleep(1)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    titles = soup.select('strong.number')
    links = soup.select('a.t')
    for title, link in zip(titles, links):
        data = dict(title=title.get_text(), link=link.get('href'))
        phone_link.insert_one(data)

2.调用上面的函数收集页面1-10的链接，并存储到数据库的phone_link表单，其中收集的链接便是每个具体商品的链接。

# 依次获取页面为1到11的页面的标题和链接
for page in range(1, 11):
    get_links(page)

3.设计get_info()函数，接受商品链接参数，爬取出商品的标题和价格，并存储在phone_info表单。

# 传入具体的商品链接，获取商品的标题和价格，插入phone_info表单
def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    no_exist = '404' in soup.find('script', type="text/javascript").get('src').split('/')
    if no_exist:
        pass
    else:
        titles = soup.select('div.col_sub.mainTitle > h1')
        prices = soup.select('span.price.c_f50')
        for title, price in zip(titles, prices):
            data = dict(title=title.get_text().replace(' ', '').replace('\t', '').replace('\n', ''),
                        price=price.get_text().replace(' ', '').replace('\t', '').replace('\n', ''))
            print(data)
            phone_info.insert_one(data)

4.依次从表单phone_link取出链接，并调用get_info函数。

# 依次从表单phone_link取出链接，并调用get_info函数
for info in phone_link.find():
    url = info['link']
    get_info(url)

三、完整代码

import requests
import time
from bs4 import BeautifulSoup
import pymongo

client = pymongo.MongoClient('localhost', 27017)
phone = client['phone']
phone_link = phone['link']
phone_info = phone['info']


# 传入页面数，获取整个页面的标题以及链接 ,插入到phone_link表单
def get_links(page):
    url = 'http://wh.58.com/shoujihao/pn{}/'.format(page)
    wb_data = requests.get(url)
    time.sleep(1)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    titles = soup.select('strong.number')
    links = soup.select('a.t')
    for title, link in zip(titles, links):
        data = dict(title=title.get_text(), link=link.get('href'))
        phone_link.insert_one(data)


# 传入具体的商品链接，获取商品的标题和价格，插入phone_info表单
def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    no_exist = '404' in soup.find('script', type="text/javascript").get('src').split('/')
    if no_exist:
        pass
    else:
        titles = soup.select('div.col_sub.mainTitle > h1')
        prices = soup.select('span.price.c_f50')
        for title, price in zip(titles, prices):
            data = dict(title=title.get_text().replace(' ', '').replace('\t', '').replace('\n', ''),
                        price=price.get_text().replace(' ', '').replace('\t', '').replace('\n', ''))
            print(data)
            phone_info.insert_one(data)


# 依次获取页面为1到11的页面的标题和链接
for page in range(1, 11):
    get_links(page)

# 依次从表单phone_link取出链接，并调用get_info函数
for info in phone_link.find():
    url = info['link']
    get_info(url)

四、细节注意
1.get_info()中，对付404被删除页面的解决办法，注意里面的双引号

no_exist = '404' in soup.find('script', type="text/javascript").get('src').split('/')

2.replace()的用法

 dict(title=title.get_text().replace(' ', '').replace('\t', '').replace('\n', '')
 price=price.get_text().replace(' ', '').replace('\t', '').replace('\n', ''))

3.从表单中读取信息

for info in phone_link.find():
    url = info['link']