Mongodb-mobilephone from58

需求

  1. 爬取58同城所有手机号码链接,存储到mongodb
  2. 读取mongodb手机号码链接,爬取详细信息,存储到mongodb
    结果:
Mongodb-mobilephone from58_第1张图片
11.png

代码:

Mongodb-mobilephone from58_第2张图片
22.png

难点:

  1. 去掉text中的换行符,tab以及不需要的空格
    "price":price.replace("\n","").replace("\t","").replace(" ","")

  2. mobilephone_url.find()的类型只是一个指针类型,无法直接操作
    必须用for info in mobilephone_url.find(): url = info["url"]的方法才能逐个拿到url的数值

3

你可能感兴趣的:(Mongodb-mobilephone from58)