Das Herunterladen und Indizieren von Material aus dem Internet ist die Aufgabe eines Webcrawlers. Sie werden oft als Spider oder Bot bezeichnet und von Suchmaschinen eingesetzt. Die Aufgabe des Bots besteht darin, sich mit dem Inhalt jeder Website im Internet vertraut zu machen, damit bei Bedarf auf die relevanten Informationen zugegriffen werden kann.
Sie werden "Web-Crawler" genannt, weil "Crawling" das Fachwort für den automatischen Besuch einer Website und die Erfassung von Daten durch eine Softwareanwendung ist.
In den meisten Fällen sind Suchmaschinen für den Betrieb dieser Bots verantwortlich. Suchmaschinen können als Antwort auf Suchanfragen von Nutzern geeignete Links angeben, indem sie einen Suchalgorithmus auf die von Webcrawlern gesammelten Daten anwenden. Er erstellt die Liste der Websites, die erscheinen, wenn ein Nutzer eine Suche in Google oder Bing (oder einer anderen Suchmaschine) durchführt.
Der Organisator liest den Titel, die Inhaltsangabe und einen Teil des internen Inhalts jedes Buches in der Bibliothek, um festzustellen, worum es in dem Buch geht, damit die Bücher in die entsprechenden Kategorien eingeordnet und nach Themen sortiert werden können.
Inhalt
Wie erledigt ein Crawler seine Aufgaben?
Ein Crawler ist ein Programm, das eine Reihe vorher festgelegter Phasen in sequenzieller Reihenfolge durchläuft - daher ist es notwendig, diese Phasen vor Beginn des Crawlings zu definieren. Beispielsweise besucht ein Crawler normalerweise jede Website-URL einzeln, und die Ergebnisse werden in einem Index gespeichert, wenn der Crawler fertig ist.
Der jeweilige Algorithmus bestimmt, wie dieser Index dargestellt wird; der Google-Algorithmus bestimmt zum Beispiel die Reihenfolge, in der die Ergebnisse auf eine bestimmte Suchanfrage erscheinen. Außerdem bestimmt der Algorithmus das Format des Indexes.
Welche anderen Arten von Crawlern stehen zur Auswahl?
Crawler werden von Entwicklern für verschiedene Zwecke eingesetzt, unter anderem für die folgenden:
Suchmaschine
Crawler werden von Suchmaschinen wie Google und Bing verwendet, und ihr Einsatz ist besonders weit verbreitet und bekannt. Diese Suchmaschinen könnten nur mit Hilfe von Webcrawlern funktionieren. Denn sie sind es, die einen Index erstellen, um den Verbrauchern aufbereitete Suchergebnisse zu liefern.
Fokussierter Crawler
"Fokussierte Crawler" sind das themenspezifische Pendant zur universellen Suchmaschine (USM). Sie beschränken sich auf bestimmte Bereiche des Internets, z. B. auf Websites, die sich einem bestimmten Themenbereich widmen, oder auf Websites, die aktuelle Berichte und Nachrichten liefern. Anschließend stellen sie einen umfassenden Index dieser Inhalte zusammen.
Analysen des Webs
Webadministratoren setzen auch Crawler ein, um Websites auf Daten zu untersuchen, wie z. B. Besuche auf der Website oder Links. Die meisten nutzen spezialisierte Webanalyselösungen.
Vergleich der Preise
Die Preise für viele verschiedene Dinge, darunter Flugtickets und andere technische Güter, können sich von einem Händler zum anderen unterscheiden. Daher werden Crawler von Websites eingesetzt, die Preise vergleichen, um ihren Kunden einen Überblick über den aktuellen Markt zu geben.
Abschließende Überlegungen
Ein Webcrawler-Bot kann als eine Person betrachtet werden, die die Bücher in einer unorganisierten Bibliothek durchsucht, um einen Zettelkatalog zu erstellen. Er ermöglicht es jedem, der die Bibliothek besucht, die gewünschten Informationen rechtzeitig und effizient zu finden.
Es gibt noch viele weitere Glossare, wie z.B. Webcrawler, die auf Seahawk SEO Glossary behandelt werden .
