Ein Crawler, auch Webcrawler oder Spider genannt, ist eine Software, mit der Suchmaschinen Webseiten im Internet durchsuchen und indexieren. Seine Hauptaufgabe ist es, Websites zu besuchen, die Inhalte zu lesen und Informationen zu sammeln. Daraus entsteht ein Index, den Suchmaschinen nutzen, um passende Suchergebnisse zu liefern.
Der Crawler folgt Links von einer Seite zur nächsten und sammelt Daten über Inhalt, Struktur und andere wichtige Faktoren jeder Seite. Diese Daten helfen Suchmaschinen zu verstehen, worum es auf einer Webseite geht, damit sie sie in den Suchergebnissen passend einordnen. Crawler sorgen dafür, dass Suchmaschinen aktuelle Informationen haben und Nutzern genaue, relevante Ergebnisse liefern.