Crawlbarhed er en søgemaskines som Googles evne til at tilgå og crawle indhold på en side. En crawler, et indeks og en algoritme er de tre komponenter, der udgør en søgemaskine som Google. Crawleren bevæger sig gennem hver forbindelse. Når webcrawleren, der drives af Google, også kendt som Googlebot, støder på dit websted, vil den gengive det, læse det og derefter gemme materialet i indekset.
En crawler er et program, der navigerer på nettet ved at følge links. Crawlere kaldes undertiden robotter, bots eller spiders. Når de når et websted, gemmer de HTML-versionen af siden i en massiv database kendt som indekset.
Dette indeks opdateres, hver gang webcrawleren navigerer på dit websted og opdager en ny eller opdateret version af indholdet. Hyppigheden af crawlerens besøg på dit websted er direkte proportional med den betydning, som Google tildeler dit websted, og antallet af opdateringer, du foretager.
Hvilke faktorer påvirker et websteds crawlbarhed og indekserbarhed?
1. Webstedsstruktur
Hjemmesidens crawlbarhed påvirkes betydeligt af den informative struktur, den har.
Naturligvis kan brugerne stadig finde sådanne sider ved at bruge links til andre websteder, forudsat at nogen nævner dem i det materiale, de ser. På den anden side kan crawlbarheden blive påvirket af en generelt dårlig struktur.
2. Den interne linkstruktur
En webcrawler navigerer sig vej på internettet ved at følge links, ligesom du ville gøre på hver side, de besøger. Derfor kan den kun finde sider, du har linket til fra andet materiale.
Derfor, hvis du har en ordentlig intern linkstruktur, vil det være muligt hurtigt at få adgang til selv sider dybt inde i dit websites design. På den anden side kan et utilstrækkeligt system forårsage en blindgyde, hvilket resulterer i, at en webcrawler overser dele af dit materiale.
3. Omdirigeringer i løkker
En webcrawler kunne ikke fortsætte, hvis der var defekte sideomdirigeringer, hvilket resulterede i problemer med crawlingsevnen.
4. Serverfejl
På samme måde kan webcrawlere muligvis ikke få adgang til alt dit materiale, hvis serveren har defekte omdirigeringer, eller hvis der er adskillige andre problemer relateret til serveren.
5. Scripts, der ikke understøttes, og andre teknologiske faktorer
Den teknologi, du bruger på hjemmesiden, kan forårsage problemer med crawling for brugere og søgemaskiner. Crawlere kan f.eks. ikke følge formularer, og det at gemme indhold bag en formular vil resultere i problemer med hjemmesidens crawling.
Sidste ord
Selvom crawlbarhed blot er et af fundamenterne for teknisk SEO, anser langt de fleste mennesker det allerede for at være meget sofistikeret materiale.
Crawlere er afgørende for Googles indekseringsproces; men hvis du forhindrer dem i at få adgang til dit websted, vil du aldrig få en høj Google-rangering, selv uden at du ved det.
Hvis du derfor er seriøs omkring at lære flere termer inden for søgemaskineoptimering (SEO), bør du besøge Seahawk for at få mere at vide.
