用wordpress建站的站长们有没有遇到那样的状况:想在wordpress中找到robots.txt文件并修改它,却不知道robots.txt文件放在wordpress在何处,我在查看网站日记时发现,搜寻引擎蛛蛛爬取了网站的robots文书,然而站长们还没有做过robots文书,那某个robots文书哪来的呢?
           那么wordpress中没有robots.txt,然而怎么搜索引擎却能访问到它呢?那终究wordpress网站如何修改robots文件?为理解除心中的疑难,在参观器里输出http:/yoursite/robots.txt按回车,还真涌现了robots文书。
            到网站根节目下查找robots.txt,根本没有这个文件怎么会找到呢?但搜寻引擎爬取到的robots文件又是什么情况?莫非wordpress会主动生成robots文书?
            在百度和google上继续寻找答案,原来事件还真是那样:wordpress会主动生成robots文书
            那么你没在wordpress网站根目录里上传过robots.txt,当搜寻引擎和用户访问robots.txt文件时,wordpress程序会主动生成一个robots.txt给搜寻引擎和用户;若是站长们上传大家编写的robots.txt到网站根目录,用户和搜寻引擎蛛蛛访问的就是你自己上传的文件,wordpress就不会再自动生成那个文件了。
服务器找不到那个文件的时候wordpress才会生成那个文书。
             robots文件关于网站优化有着举足轻重的作用,希望本文对有同样问题的站长们有所帮助!


原文标题: wordpress 网站没有写robots.txt,搜索引擎却能访问
原文地址: http://www.pcxx8.com/html/3637.html