Deoarece indicele Yandex

Indexarea site-ului de către un programe automate speciale - antenele motorului de căutare, care monitorizează în mod automat apariția unor noi site-uri de pe World Wide Web, efectuarea de scanare continuă sunt în pagini web online, fișiere și link-uri le la fiecare resursă.

Pentru a scana veniturile robot directorul în care resursa este situat pe un anumit server. Atunci când alegeți un robot nou site este ghidat de disponibilitatea sa. De exemplu, se crede că „Yandex“ scanează primele site-uri create în domeniul de limba rusă și în limba rusă - ru, Federația Rusă, sau AAU su, și numai apoi se mută spre alte regiuni.

Robotul se mută la site-ul și naviga prin structura sa, în primul rând căutând arătând pentru a căuta în continuare pentru fișiere. De exemplu, site-ul este scanat pentru sitemap.xml sau robots.txt. Aceste fișiere pot fi setate comportamentul pe șenile în timpul scanării. Cu ajutorul hărții site-ului (sitemap.xml) robotul devine mai fidel o idee despre structura resursei. Prin robots.txt web-maestru specifica fișierele pe care el nu a vrut ca acestea au fost emise în rezultatele căutării. De exemplu, poate fi informații personale sau alte date nedorite.

După scanarea celor două documente și de a primi instrucțiunile necesare, robotul începe să analizeze codul HTML și procesează tag-ul primit . În mod implicit, atunci când nu există nici un căutător fișier robots.txt începe să proceseze toate documentele stocate pe server.

Necesitatea de a re-scanare este, de asemenea, determinată automat de roboți. Programul compară rezultatul de scanare este disponibil cu o versiune actualizată a site-ului în al doilea pasaj de indexare. În cazul în care datele sunt primite programul sunt diferite, este actualizat copie a site-ului și serverul „Yandex“.