淘宝称用户隐私数据不允许抓取 屏蔽百度蜘蛛

今日通过www.taobao.com/robots.txt发现，淘宝网已经屏蔽了百度“蜘蛛”。据了解，“ 蜘蛛”是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下 一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。而如果一个网站屏蔽搜索引擎蜘蛛的话，就意味着该家搜索引擎无法获取这家网站的内 容。
对于淘宝屏蔽百度蜘蛛，淘宝网公关总监卢维兴表示，淘宝上有一些用户的隐私数据是肯定不允许搜索引擎抓取的。对淘宝是否完全屏蔽了百度的索引，卢维兴表示对此还不清楚。

　有意思的是，阿里巴巴集团于昨日正式将淘宝网和阿里妈妈网站合并运营。分析人士认为，这是淘宝网为应对百度即将推出的C2C业务所做的布局之一。百度CEO李彦宏曾在第二季度财报电话会议上表示将于年底推出百度C2C平台。

　 分析认为，百度和阿里巴巴将很快在中小企业市场进行正面交锋。

消息来源：TechWeb