At downloade og indeksere materiale fra internettet er en webcrawlers opgave. De er ofte kendt som en spider eller en bot, der bruges af søgemaskiner . Bottens formål er at blive fortrolig med indholdet af hvert websted på internettet, så de relevante oplysninger kan tilgås, når det er nødvendigt.
De kaldes "webcrawlere", fordi crawling er det tekniske ord for automatisk at besøge et websted og indhente data via et softwareprogram.
Det er oftest søgemaskinerne, der er ansvarlige for at drive disse bots. Søgemaskiner kan give relevante links som svar på brugernes søgeforespørgsler ved at anvende en søgealgoritme på de data, der indsamles af webcrawlere. Den genererer en liste over websteder, der vises, når en bruger udfører en søgning i Google eller Bing (eller en anden søgemaskine).
Organisatoren læser titlen, synopsen og en del af det interne indhold i hver bog på biblioteket for at bestemme, hvad bogen handler om, så bøgerne kan arrangeres i de passende kategorier og sorteres efter emne.
Hvordan udfører en crawler sine opgaver?
En crawler er et program, der bevæger sig gennem en række forudbestemte faser i sekventiel rækkefølge – derfor er det nødvendigt at definere disse faser, før crawlen påbegyndes. For eksempel vil en crawler typisk besøge hver webadresse én ad gangen, og resultaterne gemmes i et indeks, når crawleren er færdig.
Den specifikke algoritme bestemmer, hvordan dette indeks præsenteres; for eksempel bestemmer Googles algoritme den rækkefølge, hvori resultaterne vises som svar på en specifik søgeforespørgsel. Derudover bestemmer algoritmen formatet for dette indeks.
Hvilke andre slags crawlere er der at vælge imellem?
Crawlere bruges til flere formål af udviklere, herunder følgende:
Søgemaskiner
Crawlere bruges af søgemaskiner som Google og Bing, og deres brug er særligt udbredt og velkendt. Disse søgemaskiner ville kun kunne fungere med hjælp fra webcrawlere. Så det er fordi de er dem, der opretter et indeks for at give forbrugerne forberedte søgeresultater.
Fokuseret crawler
"Fokuserede crawlere" er den emnespecifikke analog til den universelle søgemaskine (USM). De begrænser sig til bestemte områder af internettet, såsom websteder dedikeret til et bestemt emneområde eller websteder, der leverer opdaterede rapporter og nyheder. Derefter udarbejder de et omfattende indeks over dette indhold.
Analyser af nettet
Webadministratorer bruger også crawlere til at undersøge websteder med hensyn til data, såsom besøg på webstedet eller links. De fleste bruger specialiserede webanalyseløsninger.
Prissammenligning
Priserne på mange forskellige ting, herunder flybilletter og andre teknologiske varer, kan variere fra forhandler til forhandler. Derfor bruges crawlere af websteder, der sammenligner priser for at give deres forbrugere et overblik over det aktuelle marked.
Afsluttende tanker
En webcrawler-bot kan betragtes som en person, der sorterer bøgerne i et uorganiseret bibliotek for at sammensætte et kortkatalog. Det gør det muligt for alle, der besøger biblioteket, at finde de ønskede oplysninger på en rettidig og effektiv måde.
Der er mange flere ordlister, som f.eks. webcrawler, dækket på Seahawk SEO Glossary .
