python 爬虫 scrapy 和 requsts 哪个快_Python 爬虫进阶：从Requests到Scrapy 学习心得 *小说下载代码示例...
今天终于部署了第一个scrapy爬虫，内心感慨万千。上周一直沉浸于使用requests的简洁直观之中，对scrapy臃肿的体系非常头痛。把两周以来从零学起的小小心得陈列如下：
Requests 入门
我是学习莫烦的爬虫基础途中，突然就在python上开了窍。强烈推荐他的爬虫教程。
目前使用爬虫是为了下载没有全文阅读选项的小说，要把整本书的单个章节全部下载下来，合并成一个文档。
Requests的流程非常人性化：先将网页的内容抓取下来
html = requests.get(url, headers=headers).text
2. 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, features='html.parser')
3. 在soup里面用html的标签选择想要的内容，即小说某章节内容
work_contents = soup.find('div', {'id':'chapters'}).get_text(separator='\n')
4. 到这一步爬虫功能已经完工。
5. 接下来是用普通的python语法将章节内容写到本地文件(这里保存为txt格式)
with open("chapter.txt, "w", encoding="utf-8") as f:
f.writelines(work_contents)
6. 下载小说单章内容的代码已经全部完成！简单、轻松、快捷！
7. 那么，要下载多个章节怎么办呢？很简单，用for loop将上面的全部代码包裹起来，依次循环，每次更新一个章节的地址(url)以下载该章内容，同时更新文本文档名字(创建一个新文本)以写入该章内容。
pages = 12
for page in range(1, pages+1): # for loop
# some updated code
url = url + str(page) # sample code for updating url
html = ...
soup = ...
work_contents = ...
with open(f"{page}.txt"，"w", encoding="utf-8") as f: # sample code for updating file name
f.writelines(work_contents)
time.sleep(10) # delay the next round for 10 sec, avoid scraping too fast
8. 为了减缓爬取速度，避免被网站封禁，在抓取每个网页之间人工加上了延迟，即上面代码中的time.sleep()功能。
9. 至此，下载小说全本章节的代码也完工了！
Requests + Selenium 进阶
想爬取的网页需要登录，遇到这种情况又怎么办呢？有两种办法:
使用requests.Session.post()功能在请求网页时发送用户名和密码，可以保存coockies以保持登录状态；
或者，使用第三方神器Selemium+Katalon Recorder在firefox上模拟登录，并把cookies传送到requests.Session()中，达到登录目的。
稍微介绍一下第二种方式的流程：在代码中首先载入Selenium driver，这里使用了Chrome浏览器来模拟。再将登录页面的url传入driver.get()。
driver = webdriver.Chrome()
driver.get(url)
2. 接着打开Firefox浏览器，开启Katalon Recorder的record(录制)功能。正常输入用户名、密码，点击登录按钮，等待页面跳转。(这一步在浏览器中操作)
3. 关闭Katalon Recorder录制，点击export(导出)，复制类似下面代码到python中。
driver.find_element_by_xpath().click() # sample code
driver.find_element_by_xpath().send_keys(username)
driver.find_element_by_xpath().click()
driver.find_element_by_xpath().send_keys(password)
4. 这样就完成了Selenium登录的过程，接下来是将cookies传入requests.Session()中。
cookies = driver.get_cookies()
session = requests.Session()
for cookie in cookies:
session.cookies.set(cookie['name'], cookie['value'])
5. 之后可以正常使用session.get()来请求网页，同时保持登录状态。
Scrapy 高级
熟练使用requests一周以后，我想要一次性爬取数百个网页。有几个困难，首先是当前的代码没有断点续传功能，另外为了避免网站封禁，总体等待时长已经达到了三个小时以上。
这个时候，已经封装了各种功能的Scrapy包就体现出了它的优势。看一下这个感天动地的回答吧——为啥要用scrapy代替requests或者urllib2：自动限速
尊重网站的机器人条款
处理网页有优势
自动重试
导出文件
自动缓存
然而，比起requests线性的直观体验，scrapy的入门学习坡度更抖。这里有一篇非常完美的scrapy下载小说教程小白进阶之Scrapy第一篇。
操作scrapy的流程如下：安装scrapy。我的上一篇文章涵盖了这一部分。
pip install scrapy
2. 在终端中使用 scrapy startproject 命令创建新的scrapy文件夹
scrapy startproject myspider
在项目文件夹中，scrapy已经自带了数个python文件，其中：items - 负责保存网页内容
spiders - 负责抓取网页，在此目录下建一个新的python文件来写scrapy爬虫
pipelines - 负责导出文件到本地
settings - 控制爬虫速度、自动限速、以及其它附加功能
middlewares - 本地缓存等功能
由此可以看出，scrapy将requests的功能分开了，封装到不同的文件下，更加自动化。
3. 现在正式开始使用scrapy。首先，在Item中为想要抓取的内容命名。
class MySpiderItem(scrapy.Item):
title = scrapy.Field() # sample code
contents = scrapy.Field()
pass
4. 接着，在spiders文件夹下创建一个新的python文件，例如myspider,py。在此处开始写爬虫。
首先为爬虫命名：
class MySpider(scrapy.Spider):
name = "myspider"
接着，如果是由一个或数个网址开始往下爬，则写入start_urls(是一个列表[])。
class MySpider(scrapy.Spider):
name = "myspider"
start_urls = ["url"]
假设我一共有5个网页要爬，每个网页又有数个链接，最终目标是抓取5个页面上的每个链接的内容。
我希望避免手写列表，而用for loop来组成起始网址(就像requests的做法一样)。那么，
page = 5
class MySpider(scrapy.Spider):
name = "myspider"
bash_url = url
def start_requests(self):
for i in (1, page+1):
url = self.base_url + str(i)
yield Request(url, self.parse)
这里，最后一行的yield会持续抛出Request()对当前url的解析内容(即response)，然后用一个回调函数传入parse方法中。
我们接着来看parse方法。接着往下写。
def parse(self, response):
atags = BeautifulSoup(response.text, 'lxml').find_all('a', {'class':'name'})
urls = [l['href'] for l in atags]
for url in urls:
yield Request(url, callback=self.get_content)
现在，parse首先用BeautifulSoup分析了传过来的网页内容。先提取了页面上所有符合条件的标签。接着用该语句提取标签内部的url。
urls = [l['href'] for l in atags]
现在我们已经提取了单个页面上所有符合条件的url。针对每一个url，我们继续用yield抛出Request()对这些新的url的解析，其后传入下一个方法get_content()中，抓出新页面的内容。
下面是get_content()方法示例。
def get_content(self, response):
soup = BeautifulSoup(response.text, 'lxml')
item = ScrapyTeaItem()
item['title'] = soup.find('p', {'class':'family'}).get_text()
item['contents'] = soup.find('p', {'class':'name'}).get_text()
return item
看到这里，myspider.py终于和items.py联系上了。至此，爬虫已经爬完了五个网页上所有链接页面的内容，并将抓取的内容输入到items里面。
5. 现在，我们可以打开pipelines来存储items中的内容了。不过，要启用pipelines功能，我们得先打开settings.py文件，删除ITEM_PIPELINES = {前面的#号注释。
回到pipelines文件。将抓取的网页内容写入本地txt文件的代码如下。
class MySpiderPipeline(object):
def process_item(self, item, spider):
with open('myspider.txt', 'a', encoding='utf-8') as f: # "a" for append mode
f.write('\n'+ item['title'] + '\n') # one line
f.writelines(item['contents']) # multiple lines
return item
这样，保存网页内容的代码也写好了。
6. 如果想要控制爬取速度，则在settings中设置：要打开自动限速，则取消掉AUTOTHROTTLE前的#注释
要人为限速，或者设置自动限速的最低值，取消DOWNLOAD_DELAY前的#注释
7. 现在开始运行我们所写的爬虫。在终端中输入 scrapy crawl myspider 即可运行，创建的txt文档会保存在此项目的根目录下。
至此，scrapy爬虫已经成功写好！
Scrapy Cloud
scrapy还提供云端爬虫服务，免费用户可以一次运行一个爬虫。
2. 点击CREATE PROJECT(创建项目)，输入项目名称
3. 进入Deploy Management页面，这里介绍Command line使用终端将本地项目传到云端
4. 在本地项目文件夹的终端中(在终端中使用cd和cd...命令来前进或后退文件夹)，运行代码。
pip install shub
安装完全以后，再运行
shub login
在提示的API KEY处，输入云端页面上的API键
然后使用以下语句将本地项目推送到云端
shub deploy #加上云端页面上的id号码
如果使用BeautifulSoup，将会报错bs4包不支持
解决任何不支持的包的方法是这样的：本地已经自动新建了一个文件名为scrapinghub.yml。打开这个文件，在project下面添加。
project:
requirements:
file: requirements.txt
2. 在本项目根目录(即，scrapinghub.yml同级)创建文本文件requirements.txt
3. 打开requirements.txt，写入出问题的包的名字、版本，按照以下格式写。
beautifulsoup4==4.7.1
4. 要查看包的具体版本，在终端中输入pip show。例如。
pip show beautifulsoup4
5. 保存所有文件，再次在终端中推送项目。
shub deploy
这次应该可以成功了！
在云端运行爬虫：选择项目页面上的Run(运行)即可。
注意：
因内容长度关系，本文没有提及代码开头需要载入的python包。实际运行中如果没有载入相应的包，python会报错。
BeautifulSoup中为抓取网页内容所使用的标签也仅为示例，不同网站请使用浏览器的View Source和Inspect功能来查看具体标签。
bs4运行较慢，高级选择建议使用xpath或者scrapy selector来选取标签。
selenium速度也很慢，作为网站调试工具，会载入过多不相干的网页内容。
请保持良好的爬虫礼仪，尊重网站机器人条款、勿高速爬取造成服务器负担、爬取的内容勿做非法用途、请勿侵权。
学习之途漫漫，与君共勉！