网站根目录下常用文件及代码

robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。.htaccess文件提供了针对目录改变配置的方法，在一个特定的文档目录中放置一个包含一个或多个指令的文件， 以作用于此目录及其所有子目录。
一；去掉www

修改根目录下的.htacess文件

Options +FollowSymlinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,NC,L]

二；加上www

修改根目录下的.htacess文件

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(.*)$
RewriteRule (.*) http://www\.%1/$1 [R=301,L]

三；错误页面404跳转

修改根目录下的.htacess文件

RewriteEngine On
ErrorDocument 404 /404.html

四；禁止蜘蛛抓取网站内容

修改根目录下robots.txt文件里面的内容，禁止蜘蛛抓取

User-agent: *
Disallow: /

或者，修改根目录下的.htacess文件

RewriteCond %{HTTP_USER_AGENT} spider [NC]
RewriteRule ^(.*)$ 404.html [L]

五；手机端访问自动跳转到手机站上

修改根目录下的.htacess文件

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (android|blackberry|iemobile|ipad|iphone|ipod|palmos|webos) [NC]
RewriteCond %{REQUEST_URI} !(\.gif|\.jpg|\.jpeg|\.bmp|\.png) [NC]
RewriteRule ^(.*)$ http://wap.example.com/$1 [R=301,L]

六；网址为www.aaa.com时跳转到www.bbb.com

修改根目录下的.htacess文件

RewriteEngine On
#RewriteCond %{HTTP_HOST} ^www.aaa.com [NC]
#RewriteRule ^(.*)$ http://www.bbb.com/$1 [L,R=301]

七；网站地址发生了永久性变更

修改根目录下的.htacess文件

RewriteEngine on
RewriteRule ^(.*)$ http://newdomain.com/$1 [R=301,NC,L]

这个规则告诉浏览器和搜索引擎，网站地址发生了永久性变更，用户的URL请求将会被发送给新的域名（主机）处理。由于是重定向到新的主机地址，RewriteBase也就没有出现的必要了。

八；外站访问图片时显示指定图片

修改根目录下的.htacess文件

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www\.)?example\.com/ [NC]
RewriteCond %{REQUEST_URI} !hotlink\.png [NC]
RewriteRule .*\.(gif|jpg|png)$ /hotlink.png [NC]