Fișierul robots pentru Crearea site- păianjeni motor de căutare atunci când se apropie de site-ul imediat în căutarea unui fișier robots.txt și a vizualiza instrucțiunile din acest fișier. instrucțiuni de fișier robots.txt poate