Web Crawler je automatizovaný softvérový program, alebo špecializovaný internetový bot, ktorý automaticky a systematicky prehľadáva dokumenty na weboch z celého internetu za účelom zhromažďovania údajov a následného vytvorenia obrovskej databázy (webový index). Navštevuje automaticky všetky dostupné webové stránky a tým umožňuje zaznamenať, ktoré slová kde videl. Cieľom takéhoto programu, respektíve robota je zistiť, o čom je skoro každá webová stránka na internete, aby bolo možné získať o nej informácie, ak budú používatelia vyhľadávať niečo, čo sa danej webovej stránky týka. Nazývajú sa aj prehľadávače, alebo vyhľadávače webu, pretože prehľadávanie je technický výraz pre automatický prístup na webovú stránku a získavanie údajov prostredníctvom softvérového programu.
Indexové prehľadávače, alebo vyhľadávače sú zvyčajne programované tak, aby navštevovali webové stránky, ktoré ich vlastníci odoslali ako nové, alebo aktualizované. Pojem crawler pochádza z prvého vyhľadávacieho nástroja na internete, Web Crawler. Môžete ich nájsť aj ako „Bot“, alebo „Spider“. Najznámejším webovým vyhľadávačom je Googlebot.
Indexované prehľadávanie obsahu webových stránok má obrovský vplyv na SEO optimalizáciu. Preto je potrebné, aby bot (crawler) mal prístup k vašim webovým stránkam a bez akýchkoľvek problémov, či bariér dokázať sťahovať a analyzovať ich obsah. Vyhľadávače vo výsledkoch vyhľadávania (SERP) uprednostnia webové stránky, ktoré sa ľahšie prehľadávajú crawlerom. Keď sa napríklad Googlebot dostane na webovú lokalitu, použije interné odkazy na tejto lokalite. Postupuje každým jedným interným odkazom v rámci celého webového sídla a takto si mapuje jeho štruktúru.
