Wordpress如何正确书写Robots.txt

首先我们来查看一个朋友的robots.txt，显然他的是不曾修改的，用的还是Wordpress默认的。

这种缺陷是巨大的，因为没有屏蔽/wp-content/和/wp-includes/等诸多文件，假以时日，会有很多后台文件都被收录的，像这样

所以我们需要更加完整的robots.txt内容，防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt，大家都可以参考。

其一

 User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-content/
    Disallow: /wp-includes/
    Disallow: /*/comment-page-*
    Disallow: /*?replytocom=*
    Disallow: /category/*/page/
    Disallow: /tag/*/page/
    Disallow: /*/trackback
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /comments/feed
    Disallow: /?s=*
    Disallow: /*/?s=*\
    Disallow: /*?*
    Disallow: /attachment/

其二

    User-agent: *
    Disallow: /wp-*
    Disallow: /qiuye-*
    Disallow: /*replytocom=
    Disallow: /*?iapolo_co*
    Disallow: /page/*?iapolo_co*
    Disallow: /page/?iapolo_co*
    Disallow: /?iapolo_co*
    Disallow: /?ad=da
    Disallow: /?iapolo.com
    Disallow: /daohang/
    Disallow: /wp-login.php?*
    Disallow: /?_=*
    Disallow: /?p=*
    Disallow: /api/*
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: /*.eot$
    Disallow: /*.svg$
    Disallow: /*.ttf$
    Disallow: /*.woff$
    Disallow: /*.json$
    Disallow: /page/1
    Disallow: /shuoshuo/
    Disallow: /jiayi

我们都可以作为参考，大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取

---

更多文章：http://liuyanzhao.com/2207.html
本文地址：http://liuyanzhao.com/3275.html
转载请注明