Crawlability is het vermogen van zoekmachines zoals Google om de inhoud van een pagina te benaderen en te crawlen. Een crawler, een index en een algoritme zijn de drie componenten waaruit een zoekmachine zoals Google bestaat. De crawler reist door elke verbinding. Wanneer de webcrawler van Google, ook bekend als Googlebot, uw website tegenkomt, zal hij deze renderen, lezen en vervolgens het materiaal opslaan in de index.
Een crawler is een programma dat over het web navigeert door links te volgen. Crawlers worden soms robots, bots of spiders genoemd. Wanneer hij een website bereikt, slaat hij de HTML-versie van de pagina op in een enorme database die index wordt genoemd.
Deze index wordt ververst telkens wanneer de webcrawler over uw website navigeert en een nieuwe of bijgewerkte versie van de inhoud ontdekt. De frequentie van de bezoeken van de crawler aan uw website is recht evenredig met het belang dat Google aan uw website toekent en het aantal updates dat u uitvoert.
Welke factoren beïnvloeden de crawlability en indexability van een website?
1. Structuur van de site
De crawlbaarheid van de website wordt aanzienlijk beïnvloed door de informatieve structuur die hij heeft.
Natuurlijk kunnen gebruikers dergelijke pagina's nog steeds vinden door verbindingen met andere websites te gebruiken, op voorwaarde dat iemand ze vermeldt in het materiaal dat ze bekijken. Anderzijds kan de crawlbaarheid worden aangetast door een structuur die over het geheel genomen slecht is.
2. Het interne verbindingskader
Een webcrawler baant zich een weg over het internet door links te volgen, net zoals u dat zou doen op elke pagina die hij bezoekt. Hij kan dus alleen pagina's vinden waarnaar u vanuit ander materiaal hebt gelinkt.
Als u dus een goede interne linkstructuur hebt, zal het mogelijk zijn om zelfs de pagina's diep in het ontwerp van uw website snel te bereiken. Anderzijds kan een inadequaat systeem een impasse veroorzaken, waardoor een webcrawler delen van uw materiaal mist.
3. Omleidingen in lussen
Een webcrawler kon niet verder als er gebroken paginaomleidingen waren, waardoor de crawlbaarheid in het gedrang kwam.
4. Serverfouten
Evenzo kunnen webcrawlers mogelijk geen toegang krijgen tot al uw materiaal als de server gebroken redirects heeft of als er tal van andere problemen zijn met betrekking tot de server.
5. Scripts die niet worden ondersteund en andere technologische factoren
De technologie die u op de website gebruikt, kan problemen opleveren voor gebruikers en zoekmachines. Crawlers kunnen bijvoorbeeld geen formulieren volgen, en inhoud achter een formulier plaatsen zal leiden tot problemen met de crawlabiliteit van de website.
Laatste woorden
Hoewel crawlability slechts een van de fundamenten is van technische SEO, beschouwt de overgrote meerderheid het al als zeer geavanceerd materiaal.
Crawlers zijn essentieel voor het indexeringsproces van Google; als u echter voorkomt dat ze uw website bezoeken, zult u nooit een hoge Google-ranking krijgen, zelfs niet onbewust.
Daarom, als je serieus bent over het kennen van meer termen in zoekmachine optimalisatie (SEO), moet je Seahawk bezoeken voor meer.
