WordPress最佳的robots.txt规则

独立博客也上线半个月了，发现我博客竟然一篇也没被搜索引擎收录。立刻去统计平台看了下蜘蛛访问的情况，果然一个都没有。这个域名也注册了2个多月了，至少也过了百度的考核期了。外链也一直在发，博文也一直都在更新，蜘蛛还是不来。

最后查看网站的robots.txt果然出了问题，我竟然忘了生成新的规则文件了。

当我们刚搭建Wordpress的时候，wordpress在内置的函数中已经帮我们写好了robots.txt文件，函数位置在includes/functions.php中，在该文件中搜索do_robots就能找到该函数。但这个规则属于最基础最简单的函数，可以说只能起到一点作用。

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php

经过反复的搜索，最终找到了一个最佳的robots.txt规则：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php

Sitemap: https://inusekai.com/sitemap.xml

现在就期待蜘蛛来访问我的网站了。新站也很难找到优质的友链，除非花钱。现在我唯一能提高蜘蛛访问评率的就是不断的写原创或做伪原创的博文，然后不断发外链来吸引蜘蛛。