淘宝网开始屏蔽百度蜘蛛爬虫

据DoNews网友杨先生反映,淘宝网近日已经开始屏蔽百度蜘蛛爬虫。

       网友杨先生反映,他近日发现,淘宝网已在网站根目录下的robots.txt文件中设置相关命令,禁止百度蜘蛛获取网页信息。

      据悉,百度蜘蛛是百度用来抓取各网站内容的一套自动程序,屏蔽百度蜘蛛主要是不想被百度收录,或者担心抓取给服务器带来压力。


据DoNews网友杨先生反映,淘宝网近日已经开始屏蔽百度蜘蛛爬虫。

       网友杨先生反映,他近日发现,淘宝网已在网站根目录下的robots.txt文件中设置相关命令,禁止百度蜘蛛获取网页信息。

      据悉,百度蜘蛛是百度用来抓取各网站内容的一套自动程序,屏蔽百度蜘蛛主要是不想被百度收录,或者担心抓取给服务器带来压力。


据DoNews网友杨先生反映,淘宝网近日已经开始屏蔽百度蜘蛛爬虫。

       网友杨先生反映,他近日发现,淘宝网已在网站根目录下的robots.txt文件中设置相关命令,禁止百度蜘蛛获取网页信息。

      据悉,百度蜘蛛是百度用来抓取各网站内容的一套自动程序,屏蔽百度蜘蛛主要是不想被百度收录,或者担心抓取给服务器带来压力。

你可能感兴趣的:(互联网)