巨头间的战争，我眼中的的“淘宝为什么屏蔽百度抓取”
来自http://news.paidai.com/12967
作者：芜湖SEO舒扬
1.现状和思考
现在，如果在百度里搜索淘宝网，您所看到的结果应该是这样的，“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”这种情况只在使用百度搜索时出现，因为淘宝只针对百度Baiduspider屏蔽，简单点说，除了淘宝网首页，理论上无法在百度中搜索到其他淘宝内页，当然，也包括在淘宝中的各家商家，不过，这种格局目前也有特例，一些商家通过竞价等方式从百度获得了流量入口，也许有人会问，那为什么我搜索一些大店和产品，能从百度跳到淘宝，我要说那其实是淘宝客做的推广链接，当然，这也是马云做出的补充措施，这里不细说。
（如图，淘宝的robots.txt屏蔽百度蜘蛛，理论上不该出现在搜索结果里，但是毕竟淘宝是国内电商巨头，这中间可能和百度有某种协议，出现首页结果是对用户搜索习惯的某种妥协，值得注意的是，虽然出现在百度的搜索结果中，但是点击“百度快照”是无效的，百度并未真正收录页面，只是提供了一个“入口”）
大概是在2012年，百度开始陆续“收录”天猫的商家页面，而一些大型品牌，因为自身的影响力和搜索用户的诉求，目前已经可以在搜索自己品牌类关键词的结果中出现天猫店铺的链接，比如目前的韩都衣舍，注意这个后缀，是快照（虽然点击"百度快照“无效，所以不能算是完全的收录）这是一个自然排名结果，也就是说，如果有忠实消费者根据品牌关键词在百度中展开搜索，就有可能通过这种免费的方式将流量引入天猫店铺中。而用户对“品牌关键词”的自主搜索习惯，对于未来建立垂直类商城至关重要。
韩都衣舍作为线上服装类著名品牌，目前也建立也自己的独立商城，但目前绝大部分天猫商家，因为影响力有限，在百度搜索品牌时，无法在首页找到天猫店铺的自然排名链接。
2.用户习惯和利益格局的变化
一直以来，搜索推广与排名机制都是巨头们的首要盈利方式，例如非常有代表性的百度竞价系统和淘宝直通车，广义上甚至还可以包涵钻展等等，这两者其实是一种东西，都可以属于SEM。但是由于针对的用户不同，在创立之初，并没有很大的冲突，百度的盈利模式照抄谷歌，而竞价排名是谷歌最先做的，（不过谷歌在这个业务上没有百度那么卑劣）随着百度和淘宝的发展，以及中国电子商务时代的来临，用户搜索和网购习惯的逐渐成型，二者的用户群开始大量重叠，造成了现在这种情况。
3.入口之争，得用户者得天下
事实上，百度和淘宝都试图将中国网民培育出一种最符合自己利益用户习惯：简单点说就是，尽量让用户用自己的搜索引擎完成消费选择，如果自己能够控制用户端口，那么针对排名就可以做出多种付费推广，而淘宝如果对百度蜘蛛开放robots.txt，作为中国最大的搜索引擎，百度很可能会针对淘宝开发出相应的开放平台，蚕食淘宝的付费市场。
为了方便小白理解，我们假设最坏的一种结果，淘宝开放百度抓取，在百度搜索中输入“女装”出现大量优先拍前的淘宝站内店铺结果，百度成为用户第一手的消费入口，用户在百度完成搜索，选择，比较，最终用淘宝支付宝完成消费，那么淘宝仅仅作为一个货物的仓储平台存在，商家纷纷要求加入百度竞价系统，淘宝直通车的份额将大大减少。——芜湖SEO舒扬
我们有理由相信马云想让用户永远习惯于购物意向产生后到淘宝的站内搜索，做淘宝SEO的都知道，淘宝的站内搜索有自然排名，也有淘宝直通车，作为淘宝收入的一大来源，目前我认为是最重要的来源之一。因此不难理解马云当年霸气的决定，只有在百度上搜索不到淘宝店内的商品，这样才会让淘宝的站内搜索价值得到最大的发挥，当然，这让淘宝店的流量对商家来说越来越贵。
4.电子商务经营者在这场战争中应该怎么做？
巨头间的战争对旁观者是可怕的，无论哪一方胜利，亦或是现在平分秋色的情况，都意味着对于商家来说，未来必须为这场战争买单，但是这也是行业规则的一部分，毕竟优势资源是有限的，资金充足实力强的企业可以通过付费得到流量，但是小企业不是完全没有机会，无数事实证明，当品牌强大到一定程度，并且培养出自主粉丝群体的时候，忠实消费者（或认同企业文化和产品的初次消费者）会采取主动搜索品牌的形式，完成消费，此时无论是用淘宝搜索，还是百度搜索，他们都会奔着品牌的产品而去，所以，强势品牌打造独立商城分流淘宝店铺的流量，一是可以将多余的鸡蛋拿出来，以免身家性命全押在淘宝上去通过竞价系统购买昂贵的首页广告（百度同理），二是可以加强品牌优势，培养用户主动搜索品牌的消费习惯。