Robots .txt

El archivo Robots .txt es un archivo de texto que se utiliza en SEO para dar instrucciones a los robots de los buscadores acerca de elementos de tu sitio web (páginas y directorios) que no se desean indexar.

Es un archivo de texto que se puede crear usando un programa sencillo como el Bloc de Notas de Windows, y guardarlo con el nombre Robots .txt.

Suele ir ubicado en la carpeta raiz del sitio web, donde los robots suelen ir a buscarlo, por ejemplo en la ruta www.tudominio.com/robots .txt.

Vota