robots.txt中支持加入sitemaps

作为一个日渐被大多数主流搜索引擎接受的标准Sitemaps(xml)在SEO方面的重要性越来越大，不仅可以帮助搜索引擎收录、索引网站内的页面，同时，明确的更新状态也让搜索引擎在网站内爬行时有的放矢，降低来自搜索引擎的访问压力。
一般而言，网站需要至Google网站管理员中心或Yahoo! Site Explorer中提交sitemaps (xml) 文件的url，告知搜索引擎sitemaps文件的位置，今后则可免去这一步骤。根据Google Webmaster Central 官方Blog上的说明，Sitemaps引入了一个名为“autodiscovery”的扩展支持，即网站可以直接在robots.txt中加入Sitemaps链接地址，这样，支持sitemaps协议的搜索引擎便能自动找到相应的sitemaps，而不必向多个搜索引擎分别提交。——目前支持Sitemaps的搜索引擎包括Google、Yahoo!、Live Search及Ask.com，大部分国产搜索引擎似乎并无相应的计划。
要让搜索引擎找到网站的sitemaps文件，只需在robots.txt中加入类似如下的一行：
Sitemap:http://www.pcstar.org.ru/sitemap.xml
注意，url必须使用绝对路径，并且，不能省略“http://”。