Glosario

robots.txt

Archivo en la raíz de un sitio web que indica a los programas de rastreo automático qué páginas pueden recorrer. Es una convención voluntaria: no bloquea técnicamente a quien decide ignorarla.