Manejando la indexación de un website

Cuando se da la indexación por buscadores de nuestro sitio, hay varios métodos (generalmente basados en Tags/Etiquetas HTML aplicables al código fuente) para manejar hasta cierto punto el comportamiento de los motores de búsqueda sobre el mismo. Qué links seguir, qué links no, donde sí, donde no, de que manera, etc.

Uno de los Tag más clásicos es NoFollow, ya que es utilizable por diferentes métodos. Su principal característica reside en que, dónde lo apliquemos, el buscador no seguirá ningún link y cortará el rastreo, continuando con otras páginas del mismo nivel. Mantiene la página en las SERPs y no le quita rastreabilidad, pero se constituye en la herramienta ideal para manipular la indexación.

Entre las opciones nuevas se encuentra un Tag directamente creado por Google, Canonical, con el cual evitaremos la indexación de contenido duplicado (situación que puede acarrear una sanción en PageRank) controlando las URLs duplicadas mediante la designación de una principal y la marcación con esta etiqueta del resto. Es buena idea acompañar el uso de este método con un sitemap XML.

Un recurso de última instancia es el archivo robots.txt, de las vías más clásicas y más antiguas. Resulta particularmente efectivo si se trata con aplicaciones incapaces de identificar todo el resto de indicadores de duplicidad. La desventaja principal se relaciona a que directamente cierra el seguimiento interno a las páginas que le indiquemos, lo que las aisla y les resta relevancia. Puede ser efectivo si queremos evitar penalizaciones a toda costa, pero en situaciones más tranquilas desperdiciaremos puntuación por links.