Crearea site-

Uneori, un webmaster poate fi necesar să se închidă prin indexarea site-ului. Această problemă este rezolvată ușor prin utilizarea unui fișier robots.txt. S-ar putea întreba: „Și ce webmasteri aproape de portalul său de la roboți de indexare?“ Unele pagini sunt închise pentru a evita roboți de indexare rău de motoare de căutare, sau pentru a evita filtrele motorului de căutare (da, se întâmplă) din cauza non-unice ... conținut, și mai des, pentru a închide prin indexarea diferitelor tipuri de gunoi în CMS, cum ar, de exemplu, ca un dublu pagini. admin, subiect oforleniya.

fișier robots.txt - un fișier text localizat în directorul rădăcină de pe găzduirea, în care acțiuni specifice sunt înregistrate pentru pagini, intrările de blog, imagini, etc.

păianjeni motor de căutare atunci când se apropie de site-ul imediat în căutarea unui fișier robots.txt și a vizualiza instrucțiunile din acest fișier webmaster la stânga pentru motoarele de căutare.

instrucțiuni de fișier robots.txt poate

Fișierul robots.txt este format din două instrucțiuni de bază: «User-agent» și «interziceți» prin care, și a descris încât antenele motoarelor de căutare să indexeze și ce să sari peste. Unele motoare de căutare sprijini, de asemenea, instrucțiuni suplimentare. De exemplu, motor de căutare «Yandex» folosește «gazdă» instrucțiuni din nou.

Să ne gândim în detaliu fiecare instrucțiune și înregistrările care fac webmasteri după ei în fișierul robots.txt

Instrucțiuni fișier robots.txt «User-agent»

Această instrucțiune definește pentru roboți de căutare pentru a face interdicția sau de a permite pagini de index (catalog). Dacă dorim să ne asigurăm interdicția sau permite indexarea tuturor roboților, următoarea intrare se face în fișierul robots.txt:

robots.txt «Disallow» Instrucțiuni de fișiere

Dacă pui un „/“, acesta va fi un ban pe toate directoarele și paginile de resurse.

Dacă face acest lucru, există o interdicție privind indexarea întregului director «/ imagine /«, adică, toate subfolderele.

Dacă face o astfel de înregistrare va interdicția privind indexarea o anumită pagină «/page1-small.htm«

Dacă nu vrei să faci, să facă o interdicție cu privire la orice pagini sau directoare, lăsați un spațiu gol pentru a scrie:

Una dintre cele mai importante reguli de înregistrare corespunzătoare a regulilor fișier robots.txt - fiecare instrucțiune nou este scris pe o linie nouă.

Yandex instrucțiuni robots.txt «gazdă» fișier

Yandex fișier de instrucțiuni robors.txt «crawl de întârziere»

Această instrucțiune robots.txt specifică intervalul minim în secunde între solicitările pentru a descărca paginile site-ului pentru roboți de indexare (utilizate pentru a reduce sarcina pe server).

Instrucțiuni fișier robots.txt «Vizitați-time»

Această declarație indică crawler robots.txt timpul de descărcare de pagini care urmează să fie indexate (de la 1 AM la 03:45 GMT).

În opinia mea, un lucru foarte util! De exemplu, vom face unele modificări, și apoi pritopal unul dintre roboții - „nu un oaspete invitat,“ toți au mâncat cu dreptul (nu dreapta) ... schimbări. Știi, nu e bine. Prin urmare, asigurați-vă că pentru a pune această regulă este pentru bărci cu vizitele calendarul necesar.

Exemple de fișiere robots.txt.

Pentru toate crawler site-ul este complet accesibil pentru indexare.

Pentru toate crawlerele web de pe site sunt interzise pentru cataloage de indexare »/ imagini /. / Butoane /. / Teme / «

Fișierul robots.txt pentru blog-ul WordPress:

Fișierul robots.txt pentru Joomla:

Fișierul robots.txt pentru Drupal:

Fișierul robots.txt pentru MODx Evo.

fișier robot.txt pentru MODx Revo.

Site optimizat pentru dispozitive mobile de WPSmart Mobile