4/21/2007

robots.txt中支持加入sitemaps

作为一个日渐被大多数主流搜索引擎接受的标准Sitemaps(xml)在SEO方面的重要性越来越大,不仅可以帮助搜索引擎收录、索引网站内的页面,同时,明确的更新状态也让搜索引擎在网站内爬行时有的放矢,降低来自搜索引擎的访问压力。
一般而言,网站需要至Google网站管理员中心或Yahoo! Site Explorer中提交sitemaps (xml) 文件的url,告知搜索引擎sitemaps文件的位置,今后则可免去这一步骤。根据Google Webmaster Central 官方Blog上的说明,Sitemaps引入了一个名为“autodiscovery”的扩展支持,即网站可以直接在robots.txt中加入Sitemaps链接地址,这样,支持sitemaps协议的搜索引擎便能自动找到相应的sitemaps,而不必向多个搜索引擎分别提交。——目前支持Sitemaps的搜索引擎包括Google、Yahoo!、Live Search及Ask.com,大部分国产搜索引擎似乎并无相应的计划。
要让搜索引擎找到网站的sitemaps文件,只需在robots.txt中加入类似如下的一行:
Sitemap:http://www.pcstar.org.ru/sitemap.xml
注意,url必须使用绝对路径,并且,不能省略“http://”。