Webcrawler, die von Suchmaschinen eingesetzt und oft auch als Spider oder Bots bezeichnet werden, haben die Aufgabe, Inhalte aus dem Internet herunterzuladen und zu indexieren. Ein solcher Bot ist darauf ausgelegt, sich mit den Inhalten (nahezu) jeder Website im Internet vertraut zu machen, um sicherzustellen, dass relevante Informationen bei Bedarf abgerufen werden können.
In der Regel sind Suchmaschinen für den Betrieb dieser Bots und deren Wartung verantwortlich. Wenn ein Nutzer mit Google oder Bing sucht, wird eine Liste von Webseiten als Suchergebnisse angezeigt (oder von einer anderen Suchmaschine).
Man kann sich einen Webcrawler-Bot wie eine Art Programm vorstellen, dessen Aufgabe es ist, alle Bücher einer ungeordneten Bibliothek zu durchsuchen und einen Katalog zu erstellen. Dieser Katalog steht dann allen Bibliotheksbesuchern zur Verfügung und ermöglicht es ihnen, schnell und einfach die benötigten Informationen zu finden.
Wie funktionieren Webcrawler?
Das Internet entwickelt sich ständig weiter und erweitert seinen Wirkungsbereich. Webcrawler beginnen ihre Arbeit mit einer sogenannten „Seed“-Liste bekannter URLs. Diese Liste dient als Ausgangspunkt für ihre Suche, da es unmöglich ist, alle verfügbaren Websites im Internet zu kennen. Die Crawler durchsuchen zunächst die Websites, die über die angegebenen URLs erreichbar sind. Sie setzen diesen Vorgang fort, bis sie Links zu weiteren URLs finden. Diese Links fügen sie dann der Liste der zu durchsuchenden Domains hinzu.
Es ist denkbar, dass dieser Prozess nahezu unbegrenzt lange andauern könnte, da so viele Websites für Suchzwecke indexiert werden. Webcrawler berücksichtigen auch andere Faktoren, die die Wahrscheinlichkeit angeben, dass eine Seite relevante Informationen enthält. Die meisten Webcrawler sind nicht darauf ausgelegt, den gesamten öffentlichen Teil des Internets zu durchsuchen. Stattdessen entscheiden sie anhand verschiedener Merkmale wie den genannten, welche Websites zuerst durchsucht werden.
Eine Suchmaschine benötigt eine Website, die von vielen anderen Webseiten verlinkt wird und viele Besucher hat. Denn solche Webseiten bieten mit höherer Wahrscheinlichkeit qualitativ hochwertige und vertrauenswürdige Inhalte. Dies ist vergleichbar damit, wie eine Bibliothek sicherstellt, dass sie genügend Exemplare eines häufig ausgeliehenen Buches vorrätig hat.
Untersuchung zuvor besuchter Websites
Die im World Wide Web verfügbaren Informationen werden ständig aktualisiert, entfernt oder auf andere Websites verschoben. Webcrawler müssen die von ihnen indexierten Seiten regelmäßig besuchen, um sicherzustellen, dass ihre Datenbanken die aktuellste Version der Inhalte enthalten.
Innerhalb der spezialisierten Algorithmen der Webcrawler verschiedener Suchmaschinen wird diesen Faktoren eine unterschiedliche Bedeutung beigemessen. Das Endziel aller Webcrawler ist jedoch dasselbe: Inhalte von Webseiten herunterzuladen und zu indexieren. Die von verschiedenen Suchmaschinen eingesetzten Webcrawler verhalten sich daher etwas unterschiedlich.
Weitere Artikel dieser Art finden Sie auf Seahawkmedia
