Manipulando el archivo robots.txt: Introducción (Parte 1)

“robots.txt” es el nombre de un archivo de texto ubicado en la carpeta raíz de un website, utilizable para intentar el control de los “crawlers” que implementa cada buscador al momento de indexar las páginas y luego posicionarlas. Su uso entraña varias opciones a la vez que muchos beneficios. Iremos revisándolos poco a poco en esta serie de artículos.

En primer lugar, es importante repasar que los “crawlers” son aquellos sistemas automatizados mediante los cuales un buscador puede ingresar a una página web y recopilar información importante para el posicionamiento siguiendo la telaraña de links de la misma. Son también conocidos como “arañas”, “spiders” y “robots”.

Un beneficio palpable en este asunto es el control que se establece sobre la actividad de los robots. En ocasiones, estos pueden saturar de peticiones a un servidor, ocupando un excesivo ancho de banda en el mismo y complicando el trabajo del webmaster. Incluso puede irse más lejos, directamente “prohibiendo” la entrada de “crawlers” que nos resulten pesados y no reporten un gran beneficio.

Otra ventaja de manipular el archivo “robots.txt” es la indexación selectiva que podemos practicar. En ocasiones podemos necesitar que una serie de archivos y secciones estén en nuestro website pero pueden complicar el posicionamiento del sitio sobre ciertas “keywords”, en cuyo caso es mejor mantener estos archivos fuera de la vista para el buscador.

Sigue en la parte número dos.