иногда бывают случаи, что на хостинге/сервере невозможно настроить физически
domain1.ru/robots.txt
domain2.ru/robots.txt (или beta.domain1.ru/robots.txt)
тогда можно в .htaccess прописать следующее:
<IfModule mod_rewrite.c> Options +FollowSymLinks RewriteEngine On # beta.domain1.ru/robots.txt -> beta.domain1.ru/robots_beta.txt -> RewriteCond %{HTTP_HOST} beta.domain1.ru RewriteCond %{REQUEST_FILENAME} robots.txt$ RewriteRule . robots_beta.txt [L] </IfModule>
т.е. по beta.domain1.ru/robots.txt будет открываться содержимое файла beta.domain1.ru/robots_beta.txt