Webcrawlere, der anvendes af søgemaskiner og ofte omtales som spiders eller bots, har til opgave at downloade og indeksere indhold over internettet. En bot som denne er designet til at sætte sig ind i indholdet af (næsten) alle websteder på internettet for at sikre, at relevante oplysninger kan hentes, når det er nødvendigt.
Det er oftest søgemaskinerne, der har ansvaret for at køre disse bots og for deres vedligeholdelse. Når en bruger søger ved hjælp af Google eller Bing, genereres der en liste over websteder, der returneres som resultater (eller en anden søgemaskine).
En måde at tænke på en webcrawler-bot er som en person, hvis opgave det er at søge gennem alle bøgerne i et uorganiseret bibliotek for at sammensætte et kortkatalog. Dette kortkatalog er derefter tilgængeligt for alle, der besøger biblioteket, og kan bruges af dem til hurtigt og nemt at finde de oplysninger, de har brug for.
Hvordan fungerer webcrawlere?
Internettet får løbende nye muligheder og udvider sit virkefelt. Webcrawlerbots starter deres arbejde fra et "seed", som simpelthen er en liste over URL'er, de allerede kender. Dette "seed" er, hvorfra de får deres udgangspunkt for deres arbejde. Dette skyldes, at det er fysisk umuligt at kende det samlede antal websteder, der er tilgængelige på internettet. De starter med at crawle de websteder, der kan tilgås ved hjælp af de angivne URL'er. De vil fortsætte med at crawle disse websider, indtil de finder links til andre URL'er; på det tidspunkt vil de tilføje disse websider til listen over domæner, de vil crawle næste gang.
Det er muligt, at denne proces kan vare næsten ubegrænset, da så mange websteder kan være indekseret til søgeformål. Webcrawlere tager også højde for andre faktorer, der angiver sandsynligheden for, at siden indeholder meningsfuld information. De fleste webcrawlere er ikke designet til at crawle hele den offentlige del af internettet. I stedet beslutter de, hvilke websteder der skal crawles først, ved at overveje flere karakteristika som disse.
En søgemaskine skal have indekseret et websted, der refereres til af mange andre websider og har et stort antal besøg. Dette skyldes, at en sådan webside har større sandsynlighed for at indeholde indhold af høj kvalitet og autoritet. Denne situation kan sammenlignes med, hvordan et bibliotek ville sikre, at det har et tilstrækkeligt antal eksemplarer af en bog, der ofte lånes af mange kunder.
Undersøgelse af tidligere besøgte websteder
De oplysninger, der kan findes på internettet, opdateres, fjernes eller flyttes løbende til andre websteder. Webcrawlere skal ofte besøge de websteder, de indekserer, for at sikre, at deres databaser indeholder den nyeste version af materialet.
Inden for de specialiserede algoritmer, der anvendes af spiderbots i de forskellige søgemaskiner, tillagdes disse faktorer forskellig grad af betydning. Det endelige mål for alle webcrawlere er dog det samme: at downloade og indeksere indhold fra websteder, vil de webcrawlere, der anvendes af forskellige søgemaskiner, opføre sig lidt forskelligt.
Se Seahawkmedia for flere artikler af denne type.
