wordpress网站没有写robots.txt,搜索引擎却能访问

用wordpress建站的站长们有没有遇到那样的状况：想在wordpress中找到robots.txt文件并修改它，却不知道robots.txt文件放在wordpress在何处，我在查看网站日记时发现，搜寻引擎蛛蛛爬取了网站的robots文书，然而站长们还没有做过robots文书，那某个robots文书哪来的呢？
           那么wordpress中没有robots.txt，然而怎么搜索引擎却能访问到它呢？那终究wordpress网站如何修改robots文件？为理解除心中的疑难，在参观器里输出http:/yoursite/robots.txt按回车，还真涌现了robots文书。
            到网站根节目下查找robots.txt，根本没有这个文件怎么会找到呢？但搜寻引擎爬取到的robots文件又是什么情况？莫非wordpress会主动生成robots文书？
            在百度和google上继续寻找答案，原来事件还真是那样：wordpress会主动生成robots文书！
            那么你没在wordpress网站根目录里上传过robots.txt,当搜寻引擎和用户访问robots.txt文件时，wordpress程序会主动生成一个robots.txt给搜寻引擎和用户；若是站长们上传大家编写的robots.txt到网站根目录，用户和搜寻引擎蛛蛛访问的就是你自己上传的文件，wordpress就不会再自动生成那个文件了。
服务器找不到那个文件的时候wordpress才会生成那个文书。
             robots文件关于网站优化有着举足轻重的作用，希望本文对有同样问题的站长们有所帮助！

原文标题： wordpress 网站没有写robots.txt,搜索引擎却能访问

原文地址： http://www.pcxx8.com/html/3637.html