Crawler
Beim Crawler handelt es sich um ein Computerprogramm. Dieses kommt vorrangig in Suchmaschinen zum Einsatz. Der Crawler durchsucht eigenständig Webseiten nach bestimmten Inhalten und analysiert diese.
Der Begriff Crawler wird auch oftmals mit den Begriffen Webcrawler, Spider oder Searchbot gleichgesetzt. Wie der Crawler etwa in einer Suchmaschine arbeitet, hängt im Wesentlichen von den Eingaben des Nutzers respektive von der Programmierung des Programmes ab. Auf jeden Fall ist ein Crawler in der Lage, das gesamte Web nach einem eingegebenen Begriff zu durchsuchen. Daraufhin sucht der Crawler auf verschiedenen Webseiten nach Übereinstimmungen mit dem Suchbegriff und stellt die Suchergebnisse übersichtlich dar. Diese können auch nach bestimmten Kriterien sortiert sein. Abgeleitet wird der Begriff Crawler von der ersten Volltextsuchmaschine Webcrawler. Diese wurde im Jahre 1994 als erste öffentliche Suchmaschine eingeführt. Deshalb sind Suchmaschinen auch heute noch das maßgebliche Einsatzgebiet für Crawler.
Der Crawler unterstützt Betreiber von Suchmaschinen dabei, ihren Index entsprechend zu pflegen. Neue Webseiten können also in den Index aufgenommen, veraltete Inhalte aus diesem entfernt werden.
Die Funktionsweise von Crawlern
Das tolle an einem Crawler ist, dass dieses Programm nahezu vollkommen eigenständig arbeiten kann. Anfangs muss der Programmierer dem Crawler lediglich eine Aufgabe zuweisen, die er fortlaufend durchführt. Crawler ähneln also den Usern, die sich tagtäglich durchs World Wide Web bewegen. Auch sie folgen verschiedenen Hyperlinks und gelangen so von einer Webseite auf die nächste. Dem Crawler wird vom Programmierer eine Reihenfolge zugewiesen, in welcher er die gefundenen Suchergebnisse aufruft. Gut ist, dass Crawler immer mit ihrem Index verbunden sind. Werden neu eingestellte Inhalte gefunden, kann der Crawler durch entsprechende Programmierung auch neue Webinhalte in den Index aufnehmen. Crawler werden nicht ausschließlich in Suchmaschinen eingesetzt. Sie dienen auch zum Sammeln von E-Mail-Adressen oder RSS Newsfeeds.
Leider kommt es auch zu Missbrauchsfällen und Crawler werden dann genutzt, um Nutzer auszuspähen. Werden Nutzerdaten ausgespäht, dann werden diese nicht selten verwendet, um Spam zu versenden.