python大数据-爬取赶集转转商品信息10万大数据

一、目标

爬取转转二手商品数据

二、 设计工作流程

1. 手绘工作流程，首先应从首页获得所有大类目链接。再从某大类里获取所有商品的链接，并写出第一个相关函数，对应爬虫一，对应数据库文件一
2. 编写获得具体商品信息的函数，对应爬虫二，对应数据库文件二
3. 爬虫一获得链接并存储至数据库一，爬虫二从数据库一获取链接，将所有链接对应商品的信息保存至数据库二。

三、 具体步骤

1. 新建项目，获取所有类目链接

新增文件 channel_extract.py

import requests
from bs4 import BeautifulSoup
start_url = 'http://bj.ganji.com/wu/'

def get_category_urls(start_url):
    wb_data = requests.get(start_url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    part_category_urls = soup.select('div.main-pop dt a')  # 此变量生成一个字典的集合，无法使用的，当我们通过for in 时，会调出单独的字典，再使用字典函数get()等等

    for part_category_url in part_category_urls:
        category_url =  'http://' + start_url.split('/')[2] + str(part_category_url.get('href'))
        print(category_url)

#get_category_urls(start_url)

category_url_list = '''
http://bj.ganji.com/shouji/
http://bj.ganji.com/shoujipeijian/
http://bj.ganji.com/bijibendiannao/
http://bj.ganji.com/taishidiannaozhengji/
http://bj.ganji.com/diannaoyingjian/
...................... '''

2. 爬取商品链接及商品具体信息

新建文件page_parsing.py

import requests
from bs4 import BeautifulSoup
import time
import pymongo

client = pymongo.MongoClient('localhost', 27017)
ganji1 = client['ganji1_db']
item_url_list = ganji1['item_url_list_db']  # 存储所有商品的链接
item_info = ganji1['item_info_db']  # 存储商品的详细信息

#=========获取一个分类下的所有商品链接=========#
def get_item_urls_from(category, pages):
    category_url = '{}o{}/'.format(category, str(pages))
    wb_data = requests.get(category_url)
    time.sleep(1)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    part_item_url1 = soup.select('tr.zzinfo.jz td.t a')  # 通过这3行代码，清除了链接中的商家商品，剩余均为个人商品
    part_item_url2 = soup.select('td.t a')
    part_item_url = list( set(part_item_url2) - set(part_item_url1) )
    if soup.find('td','t'):
        for i in part_item_url:
            item_url = i.get('href').split('?')[0]
            item_url_list.insert_one( {'url':item_url} )
            print(item_url)
        else:
            pass  # 通过这个判断式来判断爬取翻页到头时自动停止，td t 是商品的标题元素，没它就证明该页面没商品了

#get_item_urls_from('http://bj.ganji.com/shouji/',1)

#=========获取一个商品的详情=========#
def get_item_info(url):
    wb_data = requests.get(url)
    if wb_data.status_code == 404:  # status_code 是requests 自带的一个方法，在一开始的时候检测网页是否有效存在
        pass
    else:
        try:
            soup = BeautifulSoup(wb_data.text, 'lxml')
            data = {
                'title': soup.title.text,
                'price':soup.select('span.price_now i')[0].text,
                'area':  soup.select('.palce_li i')[0].text,
                'url': url
            }
            item_info.insert_one(data)
            print(data)
        except AttributeError:
            pass
#get_item_info('http://zhuanzhuan.ganji.com/detail/923140825311903756z.shtml')

3. 新建运行主程序main.py

from multiprocessing import Pool
from page_parsing import get_item_urls_from
from page_parsing import get_item_info
from page_parsing import item_url_list
from page_parsing import item_info
from channel_extract import category_url_list

#=============断点续传-防止程序中断===============#
db_urls = [ item['url'] for item in item_url_list.find() ]  # 从数据库中find字典元素，用item调用出key 'url'对应的value,也就是网址，并形成列表
index_urls = [ item['url'] for item in item_info.find() ]
x = set(db_urls)
y = set(index_urls)
rest_of_urls = x - y

def get_all_urls_from(category):    #  获得所有链接
    for i in range(1,5):
        get_item_urls_from(category,i)

def get_all_item_info(url):    #  获得所有详情页
    for i in rest_of_urls:
        get_item_info(i)

if __name__=='__main__':
    # =============获取所有的链接==============#
    # pool = Pool(processes= 4)
    # pool.map(get_all_urls_from, category_url_list.split())  # split()会将长字符串变成一个 列表，map直接从列表里依次拿元素
    # pool.close()
    # pool.join()
#================获取所有商品的详情=================#
    pool = Pool(processes= 4)
    pool.map( get_all_item_info,  rest_of_urls )
    pool.close()
    pool.join()

4. 建立监控程序 counts.py

import time
from page_parsing import item_url_list
from page_parsing import item_info

while True:
    time.sleep(1)
    print(item_url_list.find().count())
    print(item_info.find().count())

5. 忽略报错功能(防止程序中断)

def try_to_make(ass):
    try:
        print(1/ass)
    except (ZeroDivisionError,TypeError):
        print('ok~')
try_to_make('0')
#  如上，通过 try except 实现忽略错误，可添加在正常程序中，这里只是示范(重要程序有错必究，不能忽略的)

6. 运行

打开终端，开启3个窗口，切换到程序文件夹中，第一个窗口输入mongod,mongo，好了，mongo已开启
第二个窗口输入 python3 counts.py
第三个窗口输入python3 main.py
好了，开始抓取数据了，成功

运行截图