Întrebări și răspunsuri (FAQ)

Reduceți sarcina pe server și de a elimina problema de site-ul oprit când este indexare, precum și îmbunătățirea indexării este corectă, puteți utiliza «crawl de întârziere» - directive într-un fișier robots.txt. Acesta vă permite să setați intervalul de timp dintre pagina de descărcare de pe server, care stabilizează funcționarea resursei în mai multe solicitări de indexare. În primul rând, este important pentru site-uri și resurse mari, inadecvate de găzduire de calitate.

Ghidat de „regulile de conduită“ descrise în fișierul, robotul începe să descarce paginile site-ului dvs. vă în baza de date, indexarea și clasamentul, după care utilizatorii pot găsi o resursă pe interogări de căutare. În unele cazuri (un număr mare de pagini de pe site-ul, găzduire slab) al adresei robotului la server creează o sarcină grea, provocând site-ul pentru a opri temporar de lucru. Această problemă, și își propune să rezolve directiva «crawl de întârziere», în cazul în care puteți cere Yandex „face pauza de fum“, între capătul de injecție de o pagină și începutul alteia. Acesta este considerat ca întreg și valori fracționare. De exemplu, pentru a seta o pauză de 6,5 secunde, scrie:

User-agent: Yandex
De crawl-întârziere: 6.5

Acest lucru nu înseamnă că robotul va trebui să descarce pagina exact la intervale de 6,5 secunde, dar setează timpul minim între apelurile către server.

Având în vedere că directiva „înțeleg“, nu toate antenele motoarelor de căutare, trebuie să fie pus la sfârșitul regulilor fișier robots.txt după Interdicție (sau Allow):

User-agent: *
Disallow: / despre
De crawl-întârziere: 6.5

Directiva oferă webmasterilor mâinile unui instrument suplimentar pentru creșterea eficienței site-urilor Web și de a îmbunătăți vizibilitatea lor în motoarele de căutare.

Obțineți comerciale
ofertă

expertul nostru va răspunde la toate
întrebări și trimiteți
oferta comercială