Ein Webcrawler (auch Spider, Searchbot oder Bot) ist ein Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert und indiziert. Webcrawler werden häufig von Suchmaschinen eingesetzt.  Sie arbeiten weitgehend automatisch sich wiederholende Aufgaben ab.