关于菜鸟教程中的scrapy入门教程的一些问题,记录以下:
1.在终端运行 scrapy crawl itcast 代码时出错:
Scrapy 1.5.0 - no active project
Unknown command: crawl
Use “scrapy” to see available commands
原因是:默认crawl 命令是cd 到项目的根目录的!!!如图:scrapy_1即为我的根目录名。而scrapy.cfg是存放在mySpider目录下。
解决:打开命令行:
step1: cd mySpider
step2: scrapy crawl itcast
即可解决了
但是后来又遇到了错误!omg!!!
错误2.在执行爬虫过程中显示错误:
TypeError: write() argument must be str, not bytes
在teacher.html中显示为空白。
这里需要注意一点:
open 一定要加上 encoding=‘utf-8’,否则在 f.write 的时候会报错。
response.body 返回的是 bytes,需要将其 decode 成 string。