为什么淘宝网要屏蔽百度搜索引擎的抓取？
如果你经常在网上购物的话，当你通过百度搜索某一件商品，你有没有发现，从来没有出现过来自淘宝网的商品结果，如果你还没有注意到这个现象，你现在就可以搜索下试试，比如搜索“iphone手机”、“平板电脑”等等。这就是因为百度搜索蜘蛛被淘宝网屏蔽了抓取，从而导致百度不能索引淘宝网数据，其实这已经不能够算是个新闻了，但是却值得我们思考下这个现象，淘宝为什么要屏蔽百度搜索呢?
上图表示的就是淘宝网的robots.txt文件的内容，淘宝网的这种写法的表示意思是：屏蔽百度蜘蛛抓取淘宝网站目录下的所有数据，而且这里写法是表示只屏蔽百度蜘蛛，对于其他搜索引擎则没有屏蔽。
那么，为什么淘宝网要屏蔽百度搜索引擎的抓取呢，以下是个人的一些看法，仅供大家参考：
(一)保护用户信息、商业信息
robots.txt文件的存在就是为了禁止搜索引擎抓取网站中不想被公开的内容，如果网站没有书写禁止抓取全部数据的命令，而只是禁止了其中的一部分内容，可能会由于网站管理的疏忽，结果屏蔽的不是很准确，所以对于电商类网站这样的具有大量用户隐私数据的网站，应该更好的屏蔽这些搜索引擎的抓取，而全部屏蔽这是个简单而又有效的方法。
(二)防止搜索引擎带来的诚信和信誉问题
如果淘宝网公开让搜索引擎抓取商品、店铺信息，那么就会有卖家为了获得在搜索引擎上更好的排名而使用搜索引擎优化技术，如果该商品或店铺确实能够提供更好的服务，那么这种排名是可取的，但是如果有不法商家或者服务质量不好的商家，让他们获得了好的排名，但是最终得到的确是劣质的服务，那么这个对于淘宝网的信誉来说，将是一个很大的问题，显然不利于淘宝的发展。信誉对电商站十分重要，尤其是像淘宝这样的C2C类型的电商网站，用户复杂，监管难度太大。
(三)淘宝的实力保证与更好的占据市场
当网民想到网上购物这个词的时候，可能脑海中最先出现的就是淘宝，尽管如今的电商站层出不穷，但是淘宝却已经根深蒂固。淘宝拥有巨大的用户群，就算屏蔽了百度蜘蛛的抓取，对淘宝来说影响并不是很大。而且屏蔽了搜索引擎的抓取之后，淘宝就减少了外部因素的干预，能够更好的实现内部的管理。比如，这样就不会存在针对于搜索引擎的SEO优化，虽然现在已经出现了针对于淘宝的淘宝SEO优化，但是这种针对于淘宝的操作，相对于搜索引擎来说，它能够更好的进行控制，因为你做的这一切都是在我的地盘里面。
(四)以回应百度在电商市场的竞争
大家可以看到百度的市场在不断的扩大，百度的产品与服务在不断的推出，百度也宣称将要做最大的媒体，它说的是媒体，而不再是最大的搜索引擎了，如果当整个互联网的流量大部分都流向了这个“最大的媒体”，那样的互联网还算正常吗?百度也打算进军电子商务领域，在如今百度搜索占据了搜索主导地位的情况下，如果百度在推出电子商务，那么可想而知，当我们搜索商品的时候，可能结果前几的都是百度自己的结果，如果真是这样对于淘宝，对于其他的电商，将是一个巨大的打击。淘宝肯定不愿意自己的地位受到这样的威胁，那么淘宝为了回应百度，就果断屏蔽百度蜘蛛的抓取，这样用户访问淘宝就会减少对百度搜索的依赖，对于百度来说既是流量与用户的损失，也让自己处于了不利的地位。我觉得这也是为什么淘宝只屏蔽百度而不屏蔽其他搜索引擎的主要原因。
以下我们再来看两幅图：
百度搜索京东的返回结果
百度搜索淘宝的返回结果
第一幅图是在百度中搜索“京东”的返回结果，可以看到排在第一名的是百度推广，第二名才是京东的自然排名，京东的自然排名结果中可以看到以下几点内容：
第一点：标题与京东首页title标签中的标题完全符合，即为“京东网上商城-综合网购首选，正品行货，机打发票，售后上门取件，省钱又放心”。
第二点：标题下面的摘要内容与京东首页description标签中的内容完全符合，即为“京东商城-专业的数码网上购物商城,产品包括数码、家电、手机、电脑配件、网络产品等数万种商品直销,便捷，诚信的服务,为您提供愉悦的网上商城购物体验!”
而当我们看到第二幅图的时候，就可以发现结果完全不一样，结果中排在第一的是淘宝网，不是百度推广结果。还有，看起来这个排在第一的“淘宝网”是一个自然排名的结果，但是仔细分析一下，会发现这个与其他的自然结果很不一样。
第一点：标题是“淘宝网”而不是淘宝主页title标签中写的“淘宝网 - 淘!我喜欢”。
第二点：标题下面不存在摘要内容，只是很简单的“淘宝网”三个字，这不是淘宝网没有写description标签，而是因为百度蜘蛛不能抓取淘宝的内容。
可能读者会有这样一个疑问，为什么淘宝网彻底屏蔽了百度的抓取，可是百度搜索中还是会出现这样的“淘宝网”结果呢?我个人觉得原因有二：
第一，互联网上有很多的网站都做了导向淘宝网的链接，而导向的锚文本关键词通常都会是“淘宝网”三个字，故而可能会导致蜘蛛爬到了淘宝网，并将淘宝网三个字作为了关键词。
第二，百度作为一大搜索引擎，淘宝作为网民上网购物的主要平台，如果在百度中搜索不到淘宝网，网民会觉得百度真没有用，连淘宝网都搜索不到还自称最大的搜索引擎，所以，百度方面也必须要将淘宝结果返回出来，哪怕是在淘宝屏蔽抓取的情况下，也要人工干预的返回一个淘宝网的主页链接。
淘宝为什么会屏蔽百度搜索，以上是我对这个问题的看法，如果分析的有不对的地方，可以在我博客中联系我交流。
本文首发于叶德华的博客//wsw.yedward.net/index.php/archives/904，转载请注明出处。