Manipulando el archivo robots.txt: accesos al servidor y sitemap (Parte 5)

Por lo general, los websites que uno construye terminan alojados en servidores contratados a empresas de hosting, ya que usualmente es un costo excesivo el mantenimiento de un servidor propio. Es así que muchas veces la respuesta del site a los requerimientos de un visitante no están en nuestras manos.

En ocasiones puede pasar que, buscando información o actualizando la ya disponible, un buscador husmee constantemente el sitio requiriendo accesos constantes al servidor. Cada petición exige una carga de trabajo que, si se repite excesivamente por un lapso prolongado de tiempo, ralentizará notablemente la velocidad de nuestro sitio.

Si se está en esa situación, una buena manera de disminuir este efecto es el siguiente código:

User-agent: MSNBot
Crawl-delay: 30

Escribiendo esas líneas, se imparte un intermedio de 30 segundos entre peticiones, lo que hará el ritmo más “soportable”.

Cómo explicamos anteriormente, un sitemap puede ser de gran utilidad en el proceso de indexación. Para incluir una referencia al mapa de sitio, bastará con el siguiente código:

Sitemap: www.misitioweb.com/docs/sitemap.xml

Es importante destacar que las instrucciones brindadas a los buscadores en el archivo robots.txt no son más que sugerencias. Los bots de buscadores las respetarán, pero es posible que robots programados para ingresar por fuerza bruta hagan caso omiso. Para trabajar sobre esas situaciones, se utiliza el archivo “.htaccess”, sobre el cuál hablaremos en una próxima serie de artículos.