indexarea tuturor paginilor
-
De crawl-l întârzie
Crearea unui robots.txt umple în mod constant toate câmpurile obligatorii. După cum instrucțiunile dumneavoastră, veți vedea conținutul directivelor robots.txt. Ceea ce urmează descrie în detaliu toate directivele de fișier