¿Qué es Robots.txt? - Accuranker
Recursos gratuitos
Un archivo robots.txt indica a los rastreadores de los motores de búsqueda a qué URL pueden o no acceder en un sitio web. Se utiliza principalmente para evitar que los motores de búsqueda malgasten presupuesto de rastreo en páginas sin importancia. Sin embargo, el archivo robots.txt no impide que los motores de búsqueda indexen las páginas web.
