Scrapy + Scrapyd + Selenium + Django

  1. Scrapyd部署修改前default_scrapyd.conf文件,conf文件在scrapyd的安装目录中。
    找到conf文件的bind_addresshttp_port,修改成自己的ip地址和端口号。
  2. Scrapy 爬虫链接Django
    Django工程不要包含Sipder工程,分得远远的。。。
    2.1 修改爬虫工程目录的settings.py文件,如下:
	import os
	import sys
	sys.path.append(‘Django工程的位置’)
	os.environ['DJANGO_SETTINGS_MODULE'] = Django工程名.settings'
	import django
	django.setup()
2.2 爬虫的item.py引入django的模型,需要用到**django_item**

你可能感兴趣的:(原创,scrapy,scrapyd,selenium,django)