十七、爬虫实战,多线程抓取大搜网新车的数据

上次爬取毛豆新车的数据

十六、爬虫实战,多线程抓取毛豆新车的数据

这次爬取大搜车卖车

爬虫实战

对于之前学的知识,作一个整合,爬取大搜车卖车信息

目标:爬取大搜车卖车信息,并写入mongodb数据库

今天下手 大搜网 ,目标爬取车的所有信息和卖车的信息

https://www.souche.com/car/list

看着这么多好车,我只能说一句我穷,买不起
十七、爬虫实战,多线程抓取大搜网新车的数据_第1张图片

代码

先上全部代码,目前还可以爬取

import requests
import json
import re
import pymongo
from pymongo.collection import Collection
from concurrent.futures.thread import ThreadPoolExecutor
class HandleDaSouChe(object):
    def __init__(self):
        #页码请求URL
        self.page_url = "https://aolai.souche.com/v1/searchApi/searchCar.json?_security_token=undefined"
        se

你可能感兴趣的:((1-2)爬虫系列)