Configurando varios Robots.txt para diferentes dominios que comparten servidor

Hay sitios que disponen de muchos dominios que apuntan a un mismo servidor, como puede ser el caso de una tienda online multi-lenguaje. Estos sitios suelen albergar los famosos ficheros robots.txt, que permiten indicar a los rastreadores de los buscadores, a qué URLs del sitio pueden acceder.

Vamos a suponer que tenemos un sitio con tres dominios ficticios, mi-tienda.es, mi-tienda.pt y mi-tienda.fr, los tres dominios apuntan a un mismo sistema que muestra los textos del sitio en su idioma correspondiente, español, portugués y francés, etc.

Si agregamos un fichero robots.txt, al acceder desde cualquiera de los tres dominios, veríamos el mismo contenido:

mi-tienda.es/robots.txt
mi-tienda.pt/robots.txt
mi-tienda.fr/robots.txt

Pero ¿Y si lo que necesitamos es que cada dominio muestre un contenido diferente? 

Para solucionar esto, una de las alternativas es crear una regla que sirva de mascara para que el servidor acceda un archivo diferente según el dominio desde el que se haga la petición. Eso lo haremos agregando unas líneas al archivo .htaccess principal del sitio.

# .htaccess
# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

Lo que estamos indicando en esa línea es que, cuando se haga una petición a la Uri "/robots.txt", el servidor busque en el directorio "/robots/[mi-diminio.txt]", donde "mi-dominio.txt" será uno de los dominios de la tienda, por ejemplo:

Directorios:

/robots
--- mi-tienda.es.txt
--- mi-tienda.pt.txt
--- mi-tienda.fr.txt

De esa manera ya podemos configurar por separado los robtos.txt de la multi-tienda:

mi-tienda.es/robots.txt
mi-tienda.pt/robots.txt
mi-tienda.fr/robots.txt