Weboví roboti (angl. Web Crawler) je počítačový program, ktorý automaticky prechádza a indexuje obsah webových stránok. Tieto roboti, ako Googlebot, prehľadávajú internet a zhromažďujú informácie o webových stránkach, ktoré sa potom používajú na vytváranie vyhľadávacieho indexu.
Funkcia Webových Robotov vo vyhľadávačoch
Weboví roboti sledujú odkazy na webových stránkach, ktoré sa im zobrazia, aby našli nové stránky a zistili, či sa na existujúcich stránkach vyskytla nejaká zmena. Po nájdení novej stránky ju roboti spracúvajú: analyzujú text, obrázky, videá a ďalšie prvky, a ukladajú ich do vyhľadávacieho indexu.
Weboví roboti sú základom SEO, pretože umožňujú vyhľadávačom nájsť a indexovať váš obsah. Bez správneho indexovania by vaše stránky neboli viditeľné pre používateľov, a tým by sa znížila vaša organická návštevnosť.
