Archivos Robots.txt

El fichero “robots.txt” es un fichero de texto (.txt) normal que se encuentra en la carpeta raíz del servidor donde se encuentra alojado nuestro sitio web. Este fichero es  uno de los factores internos que influyen en el SEO on site, aunque algunos autores lo situan en la subcategoría de factores on server o de servidor.

Los bots de los motores de búsqueda van a rastrear éste archivo de texto, el cual proporcionará algunas indicaciones que pueden optimizar la indexación de nuestro sito. El robot.txt también indica a los buscadores qué partes de la web deben indexar y cuáles no, pudiéndose incluír en el fichero directrices para restringir el acceso a contenidos .  Por lo general los CMS o gestores de contenidos dinámicos generan el archivo robots.txt con los parámetros básicos  de manera automática.

Un  “robots.txt” básico utiliza varios comandos básicos:

* User-Agent:  se refiere al bot  al que se aplica la regla.
* Disallow:  las páginas o capretas  que se desea bloquear.
* Allow:  define las páginas que desea indexar.

Un fichero robot.txt tipo que permite el libre acceso al sitio quedaría así:

User-Agent: *

Con este comando se le indica a los rastreadores que tienen libre acceso para indexar todos los contenidos que haya en el sitio web.

El caso opuesto, un robot.txt que bloquearía por completo el acceso a los motores de búsqueda se leería de la siguiente forma:

User-Agent: *
Disallow: /

Tambiñen podemos bloquear el acceso por parte de los buscadores a un achivo, directorio o subdirectorio en particular.

User-Agent: *
Disallow: /directorio/archivostemporales

El fichero robots.txt es útil para evitar indexación de contenido duplicado, así como para informar a los buscadores de la implementación de un sitemap.  Para ello, tan sólo es necesario añadir una línea al fichero con la URL absoluta donde se encuentre el archivo sitemap.

Ejemplo:

http://www.misitio.com/sitemap.xml

Las herramientas para webmasters de Google incluyen validación de ficheros robots.txt para comprobar posibles errores.

Archivos Robots.txt
Valora este artículo
Comparte conocimiento
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

uno × 4 =

Loading...