Crawlbaarheid is het vermogen van een zoekmachine zoals Google om toegang te krijgen tot de inhoud van een pagina en deze te crawlen. Een crawler, een index en een algoritme zijn de drie componenten waaruit een zoekmachine zoals Google bestaat. De crawler doorloopt elke verbinding. Wanneer de webcrawler van Google, ook wel bekend als Googlebot, uw website tegenkomt, zal deze de inhoud weergeven, lezen en vervolgens opslaan in de index.
Een crawler is een programma dat over het web navigeert door links te volgen. Crawlers worden soms ook wel robots, bots of spiders genoemd. Wanneer een crawler een website bereikt, slaat hij de HTML-versie van de pagina op in een enorme database die bekend staat als de index.
Deze index wordt vernieuwd telkens wanneer de webcrawler uw website bezoekt en een nieuwe of bijgewerkte versie van de inhoud ontdekt. De frequentie waarmee de crawler uw website bezoekt, is rechtstreeks evenredig met het belang dat Google aan uw website toekent en het aantal updates dat u uitvoert.
Welke factoren beïnvloeden de crawlbaarheid en indexeerbaarheid van een website?
1. Structuur van de site
De indexeerbaarheid van een website wordt aanzienlijk beïnvloed door de informatieve structuur ervan.
Gebruikers kunnen dergelijke pagina's uiteraard nog steeds vinden via links naar andere websites, mits deze in de bekeken content worden vermeld. Aan de andere kant kan de crawlbaarheid worden beïnvloed door een slechte algehele structuur.
2. Het interne koppelingskader
Een webcrawler navigeert over het internet door links te volgen, net zoals u dat zou doen op elke pagina die u bezoekt. Daardoor kan een webcrawler alleen pagina's vinden waarnaar u vanuit andere content hebt gelinkt.
Daarom zorgt een goede interne linkstructuur ervoor dat zelfs pagina's diep in de website snel toegankelijk zijn. Een ontoereikend systeem kan daarentegen een impasse veroorzaken, waardoor een webcrawler bepaalde delen van uw content mist.
3. Omleidingen in lussen
Een webcrawler kan niet verder als er kapotte paginadirecties zijn, wat problemen met de crawlbaarheid oplevert.
4. Serverfouten
Op dezelfde manier kunnen webcrawlers mogelijk niet al uw materiaal bereiken als de server defecte redirects heeft of als er tal van andere serverproblemen zijn.
5. Scripts die niet worden ondersteund en andere technologische factoren
De technologie die u op de website gebruikt, kan problemen veroorzaken voor de crawlbaarheid van de website, zowel voor gebruikers als voor zoekmachines. Crawlers kunnen bijvoorbeeld geen formulieren volgen, en het afschermen van content achter een formulier kan leiden tot problemen met de crawlbaarheid van de website.
Slotwoorden
Hoewel crawlbaarheid slechts één van de basisprincipes van technische SEO is, beschouwen de meeste mensen het al als zeer geavanceerde materie.
Crawlers zijn essentieel voor het indexeringsproces van Google; als u ze echter de toegang tot uw website ontzegt, zult u nooit een hoge positie in de Google-zoekresultaten behalen, zelfs niet onbewust.
Als je dus serieus meer wilt weten over termen in zoekmachineoptimalisatie (SEO), bezoek dan Seahawk voor meer informatie.
