2019独角兽企业重金招聘Python工程师标准>>> 
robots .txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。
拿个robots .txt语法的例子 ：
（1）搜索引擎可以访问/www/seo的文件夹或者URL
User-agent: *
Allow : /www/seo
Disallow : /www/
（2）顺序改变后
User-agent: *
Disallow : /www/
Allow : /www/seo
这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。
robots .txt几个语法 命令 解释 ：
1> User-agent: *【定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot】
2> Disallow 【禁止爬取】
3> Allow 【允许】
4> $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件，不管它前面是什么样子】
5> * 【0或多个任意字符。Disallow: *?* 这个是屏蔽所有带“?”的文件，可以这样屏蔽所有的动态路径】
总结来说就是robots.txt 这个文件里语法的顺序是从上到下匹配 ，先允许后禁止。另外注意：User-agent，Allow，Disallow的“:”后面有一个字符的空格。
总结+复习..