Webcrawler, die von Suchmaschinen eingesetzt werden und oft als Spider oder Bots bezeichnet werden, haben die Aufgabe, Inhalte über das Internet herunterzuladen und zu indizieren. Ein Bot wie dieser soll sich mit den Inhalten (fast) jeder Website im Internet vertraut machen, um sicherzustellen, dass bei Bedarf relevante Informationen abgerufen werden können.
Meistens sind es Suchmaschinen, die diese Bots betreiben und für deren Wartung verantwortlich sind. Wenn ein Benutzer eine Suche mit Google oder Bing durchführt, wird eine Liste von Websites erstellt, die als Ergebnisse zurückgegeben werden (oder eine andere Suchmaschine).
Man kann sich einen Webcrawler-Bot als eine Person vorstellen, deren Aufgabe es ist, alle Bücher in einer unorganisierten Bibliothek zu durchsuchen, um einen Zettelkatalog zusammenzustellen. Dieser Zettelkatalog steht dann allen Besuchern der Bibliothek zur Verfügung und kann von ihnen zum schnellen und einfachen Auffinden der benötigten Informationen genutzt werden.
Wie funktionieren Webcrawler?
Das Internet gewinnt ständig an neuen Möglichkeiten und erweitert seinen Wirkungsbereich. Webcrawler-Bots beginnen ihre Arbeit mit einem Seed, bei dem es sich einfach um eine Liste von URLs handelt, die ihnen bereits bekannt sind. Dieser Samen ist der Ausgangspunkt für ihre Arbeit. Dies liegt daran, dass es physikalisch unmöglich ist, die Gesamtzahl der im Internet verfügbaren Websites zu kennen. Sie beginnen mit dem Crawlen der Websites, die über die bereitgestellten URLs aufgerufen werden können. Sie crawlen diese Webseiten so lange, bis sie Links zu anderen URLs entdecken. Zu diesem Zeitpunkt werden diese Webseiten zur Liste der Domänen hinzugefügt, die sie als Nächstes crawlen werden.
Es ist möglich, dass dieser Prozess nahezu unbegrenzte Zeit in Anspruch nimmt, da so viele Websites für Suchzwecke indiziert werden. Webcrawler berücksichtigen auch andere Faktoren, die die Wahrscheinlichkeit angeben, dass die Seite sinnvolle Informationen enthält. Die meisten Webcrawler sind nicht darauf ausgelegt, den gesamten öffentlichen Teil des Internets zu crawlen. Stattdessen entscheiden sie, welche Websites zuerst gecrawlt werden sollen, indem sie mehrere Merkmale wie diese berücksichtigen.
Eine Suchmaschine muss eine Website indiziert haben, auf die viele andere Webseiten verweisen, und die eine große Anzahl an Besuchen verzeichnet. Dies liegt daran, dass eine solche Webseite mit größerer Wahrscheinlichkeit Inhalte von hoher Qualität und Autorität enthält. Diese Situation ist vergleichbar mit der Art und Weise, wie eine Bibliothek sicherstellen würde, dass sie über eine ausreichende Anzahl von Exemplaren eines Buchs verfügt, das häufig von vielen Kunden ausgeliehen wird.
Untersuchung zuvor besuchter Websites
Die Informationen, die im World Wide Web gefunden werden können, werden ständig aktualisiert, entfernt oder auf andere Websites verschoben. Webcrawler müssen die von ihnen indizierten Websites häufig besuchen, um sicherzustellen, dass ihre Datenbanken die aktuellste Version des Materials enthalten.
Innerhalb der speziellen Algorithmen, die von den Spider-Bots der verschiedenen Suchmaschinen verwendet werden, kommt diesen Faktoren eine unterschiedliche Bedeutung zu. Das Endziel aller Webcrawler ist jedoch dasselbe: Beim Herunterladen und Indexieren von Inhalten von Websites verhalten sich die von verschiedenen Suchmaschinen eingesetzten Webcrawler etwas anders.
Weitere Artikel dieser Art finden Sie bei Seahawkmedia
