Googlebot je ranní tvor
Z malé statistiky zpracované z logu mého webu mi vychází, že indexovací robot Google (zvaný Googlebot) je nejčilejší v noci k ránu (evropského času). Není to až tak překvapivé, ale čekal jsem, že bude mít největší provoz více v noci. Přehled počtu stránek stažených Googlem za posledních asi 14 dní podle hodin:
Počítal jsem také seance Googlebota z jeho jednotlivých IP adres (má jich asi 256) jako kombinaci IP adresy, data a času. Po seskupení seancí podle času vyšel podobný graf jako pro stažení. Z poměru seancí vůči počtu stažených stránek je patrné, že z jednoho stroje (jedné IP adresy) se stáhnou za hodinu asi jenom 4 stránky. To mi přijde docela málo.
Když jsem porovnával jednotlivé dny, objevil jsem velké rozdíly. Například 8. února si Googlebot stáhnul 13 stránek, kdežto 11. února jich vzal rovnou 693. Žádná závislost dne v týdnu na stahování nelze vypozorovat (těch dat je málo). Průměrná denní dávka se pohybuje kolem 190 stránek. Pokud vezmu v úvahu, že na tomto webu Google zná asi 650 stránek, každá stránka je v průměru stažena jednou za tři dny. Některé stránky ale Googlebot nenavštívil za celých 14 dní ani jednou (asi 19% jemu už známých stránek).
Podstatně se liší perioda stahování jednotlivých stránek. Googlebot své oblíbené stránky. Na soubor robots.txt sáhnul 44 krát (3 krát denně), hlavní stránku vzal 34 krát, weblog 17 krát. Pak to tak nějak klesá a 64 stránek bylo během 14 dnů staženo pouze jednou.
Chápu, že tohle čtení je docela nuda. Nic překvapivého, jen potvrzení známých faktů (navíc silně nepřesné - logy ze dvou týdnů jsou malý vzorek). Pro mě je to ovšem zajímavé, protože jde o můj server. Třeba vás to ale podnítí k vlastnímu zkoumání.
Reakce: Štefan Húska na weblog.frk.sk: Trochu som si aj ja pozrel logy z frk.sk... Vsimol som si vsak, ze ku mne Googlebot chodi tiez tak skoro rano ako k tebe. Vsetko je medzi 7:30 - 10:00. Len par som ich nasiel okolo 15:00 alebo 19:00.
Publikováno 16.února 2004
Tento článek je původně z weblogu
Reklama
