8/15/2010

新浪博客屏蔽搜索引擎

来源:月光微博客


根据新浪博客的robots文件( blog.sina.com.cn/robots.txt )来看,新浪博客已经屏蔽了所有搜索引擎的抓取。

一个依靠流量换取广告的门户主动禁止从搜索引擎过来流量,显然很不正常,这种非常规的做法,目前的解释只能是,新浪想防止有关部门通过搜索引擎来监控新浪博客的内容。

四大门户博客中,目前搜狐博客也在 robots 中屏蔽了搜索引擎的访问。

#####################################################
# SINA BLOG 禁止搜索引擎收录配置文件
# 文件: ~/robots.txt
# 编写: 阿狼
# 日期: 2005-03-24
#####################################################

#开放百度的搜索引擎的User-Agent代码,*表示所有###########
User-agent: Baiduspider

#限制不能搜索的目录,Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#限制的搜索引擎的User-Agent代码,*表示所有###########
User-agent: *

#临时限制对所有目录的禁止抓取
Disallow: /

#限制不能搜索的目录,Disallow: 为空时开放所有目录####
##Disallow: /admin/
##Disallow: /include/
##Disallow: /html/
##Disallow: /queue/
##Disallow: /config/

#开放搜索的目录有####################################
# /
# /advice/
# /help/
# /lm/
# /main/
# /myblog/

#搜索引擎User-Agent代码对照表########################
# 搜索引擎 User-Agent代码
# AltaVista Scooter
# Infoseek Infoseek
# Hotbot Slurp
# AOL Search Slurp
# Excite ArchitextSpider
# Google Googlebot
# Goto Slurp
# Lycos Lycos
# MSN MSNBOT
# Netscape Googlebot
# NorthernLight Gulliver
# WebCrawler ArchitextSpider
# Iwon Slurp
# Fast Fast
# DirectHit Grabber
# Yahoo Web Pages Googlebot
# Looksmart Web Pages Slurp
# Baiduspider Baidu
只允许了百度Baiduspider抓取网页。

没有评论: