9/14/2008

百度收录淘宝再次有力地证明了百度无视robots.txt

不久前淘宝已经屏蔽百度蜘蛛,不过一直以来对百度是否真正遵守robots.txt存在怀疑.

目前又去百度搜了一下 淘宝,发现淘宝网站仍然在列,另site一下www.taobao.com,百度一下,找到相关网页约2,310篇,用时0.001秒。这里收录数量明显比以前少,但还没有完全删除。
相信淘宝也是知道百度无视robots.txt的,可能同时用了其他手段来限制百度收录。

没有评论: