El fichero robots.txt es el herramienta clave para toda sitio web que desea aparecer bien indexada por los buscadores como Chrome . Funciona como un directorio para los rastreadores , indicándoles qué áreas de tu sitio pueden están indexadas y cuáles evitar. Una correcta configuración de este fic