Site-ul pentru crearea de fișiere, setarea corectă a orientărilor cu exemple, verifica - SEO blog Pingo
Robots.txt - adică, de ce avem nevoie și unde viața?
Astfel, primul program educativ pentru cei care sunt complet familiarizați cu acest subiect.
Robots.txt - un fișier text care conține instrucțiuni pentru indexarea site-ului pentru roboții motoarelor de căutare. În acest fișier, webmaster poate defini parametrii indexarea site-ului dvs. pentru toți roboții dintr-o dată, și pentru fiecare sistem individual de căutare (de exemplu, Google).
Structura și setarea corectă a fișierului robots.txt
1. Directiva User-agent
Ce să scrie în această secțiune? Această directivă stabilește la ce anume robotul sunt prezentate mai jos instrucțiuni. De exemplu, în cazul în care sunt destinate pentru toate roboți, este suficient pentru a proiecta următoarele:
Fișierul robots.txt caracterul de sintaxă „*“ echivalentă cu expresia „nimic.“ Dacă doriți să specificați instrucțiuni pentru o anumit motor de căutare sau un robot, stelele în locul exemplul anterior este scris numele, de exemplu:
Fiecare motor de căutare, există un set de roboți care îndeplinesc funcții specifice. Yandex roboți motor de căutare sunt descrise aici. În termeni generali există următoarele:
- Yandex - o indicație a robotului Yandex.
- GoogleBot - Google indexarea robotul de bază.
- Msnbot - indexare de bază robotul Bing.
- Aport - roboți Aport.
- Mail.ru - roboți PS Mail.
Dacă există o directivă pentru un anumit motor de căutare sau un robot, general ignorat.
2. Se lasă directivă
Permite secțiune separată a paginii, în cazul în care, să zicem, el a închis anterior pe deplin de indexare. De exemplu:
User-agent: *
Disallow: /
Permite: /otkrytaya-stranitsa.html
În acest exemplu, nu permitem pentru indexarea site-ul întreg, cu excepția paginii poni.html
Această directivă este utilizată într-o anumită măsură, pentru a indica excepții de la normele stabilite de directiva Disallow. În cazul în care nu există astfel de situații, directiva nu poate fi folosit la toate. Ea nu permite să deschidă site-ul care urmează să fie indexate, așa cum mulți cred, pentru că dacă nu există nici un tip de interdicție Disallow: /, atunci este deschis în mod implicit.
2. Directiva Disallow
Este opusul Allow directivei și se închide indexeze pagini individuale, secțiuni sau întregul site. Este un analog al NOINDEX. De exemplu:
User-agent: *
Disallow: /zakrytaya-stranitsa.html
3. Directiva gazdă
Este folosit doar pentru Yandex și puncte de la site-ul oglinzii principale. Se pare ca acest lucru.
Oglinda principală fără www: