Un conjunto de preferencias que se aplica a un URL específico o rango de direcciones URL que se puede utilizar para incluir o excluir elementos que desea crawl y especificar la cuenta de acceso a los contenidos a usar al rastrear esa URL o rango.