大家都知道一个网站上线后需要进行相应的优化，最重要一点是能正常打开，因为只有网站在能正常打开的情况下才能让搜索引擎爬虫程序(蜘蛛程序)顺利抓取我们的网站内容，由于我们的网站包括很多内容，比如网页文件，css样式，js文件，图片和视频等多种文件，那么多文件对于搜索引擎爬虫程序(蜘蛛程序)是一个庞大的工作量，这时候需要我们做一些设置，让搜索引擎爬虫程序(蜘蛛程序)只抓取我们网站的主要内容，其它不需要的文件不让搜索引擎爬虫程序(蜘蛛程序)抓取，这样一来，搜索引擎爬虫程序(蜘蛛程序)会只抓取我们的主要内容，减少了搜索引擎爬虫程序(蜘蛛程序)的抓取时间，我们给搜索引擎爬虫程序(蜘蛛程序)减少了工作量，搜索引擎爬虫程序(蜘蛛程序)就会经量来我们网站来抓取内容，这对我们的网站关键词排名是非常有好处的。那么如何减少搜索引擎爬虫程序(蜘蛛程序)对网站的抓取时间呢?今天就由青县圣莉雅兰网络工作室青县网站优化培训为大家分享一下网站不设置robots，搜索引擎抓取网站的的频率不高!
话不多说直接上干货，上文中所说的robots是一个名为robots的纯文本文件，加上扩展名它的一个完整的样式是robots.txt。这个文件是直接放在网站根目录下的，通过网址/+robots.txt是可以直接访问的。robots主要功能是告诉哪些搜索引擎可以抓取哪些网站页面和不允许抓到哪些网站页面。
前期网站可以不设置robost文件，但后期开展网站优化工作以后就需要设置robots文件，不设置的情况下是搜索搜索引擎爬虫程序(蜘蛛程序)会抓取整个网站的内容，由于前期网站内容不是很多，因此搜索引擎爬虫程序(蜘蛛程序)抓取整个网站的内容不需要花费太多时间，但是后期的网站优化工作会增加很多网站内容，这就是为什么前期可以不设置robots文件的原因。
下面为大家举个例子：
User-agent: * ,允许所有搜索引擎抓取。
Disallow: /admin/ 禁止访问管理目录
Disallow: /config/ 禁止访问配置目录
Disallow: /include/ 禁止访问插件目录
Disallow: /public/ 禁止访问公共目录
Disallow: /install/ 禁止访问安装目录，一般情况下应该删除此目录
Disallow: /templates/ 禁止访问模板目录
Disallow: /member/ 禁止访问会员目录
Disallow: /wap/templates/ 禁止访问手机模板目录
Sitemap: 网址/sitemap.xml 网站地图网址
不少SEO工具中常会遇到一个问题：网站的JS文件、CSS样式表文件、图片是否应该在Robots.txt中添加到Disallow，禁止搜索引擎爬虫程序(蜘蛛程序)抓取。SEO祥子在这方面倒是的非常确切的答案：完全基于SEO的思维，站在搜索引擎优化的立场上，JS、CSS、图片目录或文件是不应该被禁止抓取的!
那么问题来了，网站的JS文件、CSS样式表文件和图片是否需要禁止搜索引擎爬虫程序(蜘蛛程序)抓取呢?答案是否定的，笔者前期为了提高搜索引擎爬虫程序(蜘蛛程序)的抓取频率是禁止网站的JS文件、CSS样式表文件和图片的抓取的，但随着搜索引擎爬虫程序(蜘蛛程序)越来越成熟，对于现在媒体的多样性已经可以识别出来了，因此网站的JS文件、CSS样式表文件和图片不需要禁止了，这样的话图片也能别识别出来并被搜索引擎爬虫程序(蜘蛛程序)抓取，因此也可以对图片进行优化了。搜索引擎爬虫程序(蜘蛛程序)可能通过CSS样式表文件分析网站是否有作弊行为：隐藏文本。同理JS文件也用于控制CSS的效果，因此JS文件不能禁止拟抓取。
以上就是小编对于Robots.txt是否应该屏蔽JS和CSS的一些理解，则小编认为Robots.txt不应屏蔽JS和CSS，但是需对JS和CSS进行打包封装。
好了，以上便是网站不设置robots，搜索引擎抓取网站的的频率不高的全部内容，更多问题可以咨询青县圣莉雅兰网络工作室。
注：部分内容来源于网络(侵删)，欢迎转载，转载请注明青县网站优化培训!
每天进步一点点：
你想红容易还是别人让你红容易?
如果你的能力能让人眼前一亮，即使你不上网，也能让别人发现并成为网红。
感动女孩有什么办法?
在给女孩过生日时，把之前没过的几个生日用红包补齐。
你想做什么样的滴滴?
有这样的一辆滴滴，司机会问你，想不想听歌?你以为是听广播?滴滴司机给你唱了一路，还不断的互动，掌声在哪里?随后喇叭响了几下，你以为这样就完了?司机又喊道，让我看到你们的双手，然后雨刷动了两下。