Googlebot je automatizovaný prehliadač, známy aj ako webový pavúk (web crawler), ktorý Google používa na preliezanie (crawlovanie) a indexovanie webových stránok. Jeho úlohou je prechádzať web, analyzovať obsah stránok a ukladať ich do indexu Google, aby boli dostupné vo výsledkoch vyhľadávania. Webový robot Google prehľadáva milióny webových stránok po celom svete a pomáha zabezpečiť, že používateľom sú pri vyhľadávaní prezentované najrelevantnejšie výsledky.
Úloha Googlebotu vo vyhľadávaní
Googlebot pracuje na princípe sledovania odkazov z jednej webovej stránky na druhú. Prehľadáva stránky, identifikuje nové, upravené alebo neexistujúce stránky a zaznamenáva ich obsah do indexu Google. Používa sitemapu, odkazy a iné zdroje na nájdenie čo najväčšieho množstva obsahu. Počas preliezania analyzuje HTML kód, štruktúru stránky a ďalšie súčasti, aby pochopil, ako stránku usporiadať a indexovať tak, aby sa dala efektívne zobrazovať vo výsledkoch vyhľadávania.
Crawlovací robot Google má dve rôzne verzie – jednu pre stolné počítače (desktop) a jednu pre mobilné zariadenia (mobile). Tieto boti prehľadávajú stránky tak, ako by ich videl používateľ na príslušnom zariadení. Dnes Google primárne používa Mobile-First Indexing (Indexovanie mobilných zariadení ako prvých), čo znamená, že web crawler pre mobilné zariadenia má vyššiu prioritu pri prehľade stránok a ich indexovaní. Stránky musia byť optimalizované pre mobilné zariadenia, aby sa zobrazovali správne vo vyhľadávaní.
