El documento robots.txt es un recurso esencial para cualquier página web que desea aparecer bien posicionada por los motores de búsqueda como Chrome . Opera como un directorio para los crawlers , indicándoles qué áreas de tu sitio pueden están crawleadas y cuáles se deben excluir . La óptima configuración de este documento sirve a prevenir