scrapy里很多地方都借鉴了django的影子。
setting
里边包含很多设置，比如里边的
SPIDER_MODULES = ['jianshu_test.spiders']
就是设置爬虫的路径
middleware
里边用来放middleware的一个组件，也可以是自己的组件，scrapy里边有很多已经很强大的middleware了。
在进入项目的目录下，输入命令
scrapy genspider jobbole blog.jobbole.com
就会生成一个新的项目，jobbole的一个文件：
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/']
def parse(self, response):
pass
里边这个allowed_domains这个设置可以参考一下，将来就可以不用middleware来过滤这里边的请求了。
想要调试scrapy里边的变量，可以用：
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
#需要进入当前的文件的父目录才能运行cmd命令
execute('scrapy crawl jobbole'.split(' '))
当出现win32缺失
pip install -i https://pypi.douban.com/simple pypiwin32
上边这个pip 安装语法也是很多安装其他包时可以用到的选择之一
xpath的语法-谓语
| 表达式 | 说明 |
|---|---|
| article | 选取所有article元素的所有子节点 |
| /article | 选取根元素article |
| article/a | 选取所有属于article的子元素的a元素 |
| //div | 选取所有div子元素（不管出现在文档的任何地方） |
| article//div | 选取所有属于article元素的后代的div元素，不管它出现在article之下的任何位置 |
| //@class | 选取出所有class属性的值 |
| /article/div[1] | 选取属于div元素的所有子节点 |
| /article/div[last()] | 选取属于article子元素的最后一个div元素 |
| article/div[last()-1] | 选取属于article子元素的倒数第二个div元素 |
| //div[@lang] | 选取所有拥有lang属性的div元素 |
| //div[@lang='eng'] | 选取所有lang属性为eng的div元素 |
| /div/* | 选取属于div元素的所有子节点 |
| //* | 选取所有元素 |
| //div[@*] | 选取所有带属性的title元素？ |
| /div/a|//div/p | 选取所有div元素的a和p元素 |
| //span|//ul | 选取文档中的span和ul元素 |
| article/div/p|//span | 选取所有属于article元素的div元素的p元素，以及文档中所有span元素 |
| /text() | 获得当前标签下的值 |
scrapy提供了shell脚本，
scrapy shell url
可以看到里边有很多对象可以使用，一般用的多的是response
如使用
title=response.xpath("//div[@class='entry-header']/h1/text()")
就可以得到结果
像碰到'\r\n'这样的结果的，可以通过strip来过滤掉，虽然我很多时候strip都没有用。
当一个class中很多个类别的时候，可以用xpath的一个内置函数contains
response.xpath("//span[contains(@class,'vote-ppost-up')]/h10/text()")
这样就可以取到class中包含某一属性的值了。
如果碰到‘1评论、‘1收藏’之类的结果，而只想取其中的数字的话，除了手动的split和replace之外，还可以使用正则表达式
import re
match_re=re.match(".*(\d+).*","1 收藏“)
if match_re:
print match_re.group(1)
当抓取到的数组里边可能会出现'1 收藏'这样的字符，但是也有可能不出现，这样的时候想要去掉里边‘收藏'这样的字符的话，可以用
[element for element in tag_list if not element.endswith("评论")]
用一个','来合并一个list
result=','.join(tag_list)
css选择器
| 表达式 | 说明 |
|---|---|
| * | 选取所有子节点 |
| #container | _ 选择id为container的节点 |
| .container | 选择所有class包含container的节点 |
| li a | 选取所有li下的所有a节点 |
| ul + p | 选择ul后面的第一个p元素 |
| div # | |
| container > ul | 选取di为container的div的第一个ul的子元素 |
| ul ~ p | 选取与ul相邻的所有p元素 |
| a[title] | 选取素有title属性的a元素 |
| a[href="http://jobbole.com"] | 选取所有href属性为jobble.com的a元素 |
补充：css选择器12-5
css选择器中的:nth-of-type(1)选择的时在这个div下的第一个，而不是匹配在全文中找到的第几个；
css选择器中的div > li::text和div > li::attr(text)这两个方法都不好使，我的解决方案是：
from w3lib.html import remove_tags
data=remove_tags(str(one_reslut))
print data
上边的这两种写法只能用在scrapy的css选择器中：css('a[href=image]::attr(href)')
selenium中选择器的结果不能是text类型
publish_user=one_user_publish_content.find_elements_by_xpath('//span[@class="fcg"]/span[@class="fwb"]/a/text()')
selenium.common.exceptions.InvalidSelectorException: Message: invalid selector: The result of the xpath expression "//span[@class="fcg"]/span[@class="fwb"]/a/text()" is: [object Text]. It should be an element.
(Session info: chrome=62.0.3202.94)
(Driver info: chromedriver=2.33.506120 (e3e53437346286c0bc2d2dc9aa4915ba81d9023f),platform=Windows NT 10.0.15063 x86_64)
xpath选中多个标签：
Books/book[@author='John' and @year='2009' and @language='En']
.. 表示当前节点的父节点
更加偏门的用法：
选取父节点：
选取所有子节点
选取当前结点的所有属性：
发现一片不错的博客
http://blog.csdn.net/a26r2kf967hgai/article/details/78852207
包含指定文本内容的标签：
browser.find_element_by_xpath('//button/span[contains(text(), "指定文本内容")]').click()