隐藏 robots.txt

robots.txt 会暴露目录结构的问题，今天找到了答案。用 urlrewrite

RewriteCond %{HTTP_USER_AGENT} ^(Mozilla|Opera)
RewriteCond
%{HTTP_USER_AGENT}!(Slurp|surfsafely)
RewriteRule ^robots\.txt$ /someotherfile [L]

或者干脆 urlrewrite 到 cgi 或者 php 文件。
如果不想 urlrewrite 的话还可以设置txt伺服类行为应用程序，application/x-httpd-php .txt，对 .txt 当成 php 处理。注意：这时候站点内的其它 .txt的第一句都要有

详细说明在 Advantages of a smart robots.txt file