Crawlbaarheid is het vermogen van een zoekmachine zoals Google om inhoud op een pagina te openen en te crawlen. Een crawler, een index en een algoritme zijn de drie componenten waaruit een zoekmachine zoals Google bestaat. De crawler reist door elke verbinding. Wanneer de webcrawler van Google, ook bekend als Googlebot, uw website tegenkomt, zal deze deze weergeven, lezen en vervolgens het materiaal in de index opslaan.
Een crawler is een programma dat over het internet navigeert door links te volgen. Crawlers worden soms robots, bots of spiders genoemd. Wanneer het een website bereikt, slaat het de HTML-versie van de pagina op in een enorme database die bekend staat als de index.
Deze index wordt vernieuwd wanneer de webcrawler over uw website navigeert en een nieuwe of bijgewerkte versie van de inhoud ontdekt. De frequentie van de bezoeken van de crawler aan uw website is recht evenredig met het belang dat Google aan uw website toekent en het aantal updates dat u doorvoert.
Welke factoren beïnvloeden de crawlbaarheid en indexeerbaarheid van een website?
1. Sitestructuur
De crawlbaarheid van de website wordt aanzienlijk beïnvloed door de informatieve structuur die deze heeft.
Uiteraard kunnen gebruikers dergelijke pagina's nog steeds vinden door verbindingen met andere websites te gebruiken, op voorwaarde dat iemand ze vermeldt in het materiaal dat ze bekijken. Aan de andere kant kan de kruipbaarheid worden beïnvloed door een structuur die over het algemeen slecht is.
2. Het interne linkframework
Een webcrawler navigeert zijn weg over het internet door links te volgen, net zoals u zou doen op elke pagina die hij bezoekt. Bijgevolg kan het alleen pagina's lokaliseren waarnaar u hebt gelinkt vanuit ander materiaal.
Als u dus over een goede interne linkstructuur beschikt, is het mogelijk om snel toegang te krijgen tot zelfs de pagina's diep in het ontwerp van uw website. Aan de andere kant kan een ontoereikend systeem een impasse veroorzaken, waardoor een webcrawler delen van uw materiaal mist.
3. Omleidingen in lussen
Een webcrawler kan niet verdergaan als er defecte pagina-omleidingen zijn, wat leidt tot problemen met de crawlbaarheid.
4. Serverfouten
Op dezelfde manier hebben webcrawlers mogelijk geen toegang tot al uw materiaal als de server omleidingen heeft verbroken of als er tal van andere problemen zijn met betrekking tot de server.
5. Scripts die niet worden ondersteund en andere technologische factoren
De technologie die u op de website gebruikt, kan crawlbaarheidsproblemen veroorzaken voor gebruikers en zoekmachines. Crawlers kunnen bijvoorbeeld geen formulieren volgen, en het blokkeren van inhoud achter een formulier zal leiden tot problemen met de crawlbaarheid van de website.
Laatste woorden
Hoewel crawlbaarheid slechts een van de fundamenten van technische SEO is, beschouwt de overgrote meerderheid van de mensen het al als zeer geavanceerd materiaal.
Crawlers zijn essentieel voor het indexeringsproces van Google; Als u echter verhindert dat ze toegang krijgen tot uw website, krijgt u nooit een hoge Google-ranking, zelfs niet zonder het te weten.
Daarom, als u serieus meer termen in zoekmachineoptimalisatie (SEO) wilt leren kennen, moet u Seahawk voor meer informatie.
