python简单爬虫项目:爬取360摄影图片及其信息

python简单爬虫项目:爬取360摄影图片及其信息_第1张图片

  • 项目URL:https://images.so.com/
  • 项目简介:爬取360摄影图片及信息存储到数据库mongodb中
  • 项目所需库/框架
  • scrapy框架
  • pymongo库
  • sys库
  • urllib库
  • json库
  • 项目实操:
  1. 使用cmd创建项目和爬虫:

     scrapy startproject images360
     scrapy genspider images images.so.com
    
  2. 修改images.py:

    • 创建start_requests函数,拼接url,设置为初始url
    • 修改parse函数,用于解析数据,提取信息并存储到mongodb中
  3. 修改settings.py:

    • 定义一个变量,用来设

你可能感兴趣的:(python,python那些事)