directivă interzice indexarea

  • De crawl-l întârzie
    Crearea unui robots.txt umple în mod constant toate câmpurile obligatorii. După cum instrucțiunile dumneavoastră, veți vedea conținutul directivelor robots.txt. Ceea ce urmează descrie în detaliu toate directivele de fișier