Vraagt u zich af hoe u het robots.txt-bestand in WordPress effectief kunt bewerken? Dit kleine maar machtige bestand is als een routekaart voor crawlbots van zoekmachines en begeleidt hen welke delen van uw site ze wel of niet moeten verkennen. Door dit onder controle te houden, kunt u ervoor zorgen dat zoekmachines zich kunnen concentreren op uw belangrijkste pagina's, waardoor de snelheid van uw site en de SEO-ranking worden verbeterd.
Hoewel WordPress automatisch een robots.txt-bestand voor uw site genereert, voldoet dit mogelijk niet altijd aan uw specifieke behoeften. Soms moet u het aanpassen om ervoor te zorgen dat zoekmachines alleen zien wat u wilt.
Als het idee om robots.txt te bewerken intimiderend aanvoelt, hoeft u zich geen zorgen te maken: u bent op de juiste plek! In deze handleiding leggen we uit wat een robots.txt-bestand doet, waarom het belangrijk is en de eenvoudigste manieren om het op uw WordPress-website . Laten we beginnen.
Het Robots.txt-bestand in WordPress begrijpen
Laten we het hebben over het robots.txt-bestand in WordPress : het is eenvoudiger dan het klinkt! Dit platte tekstbestand bevindt zich in de hoofdmap van uw website en geeft webrobots, of bots, een reeks instructies. Kortom, het vertelt hen welke delen van uw site ze wel of niet moeten verkennen en indexeren.
Zie het als het geven van richtlijnen aan zoekmachines. Googlebot genoemd) controleren bijvoorbeeld regelmatig websites om hun zoekindex bij te werken. Wanneer ze uw site bezoeken, bekijken ze het robots.txt-bestand voor instructies over wat ze moeten doen.
Het belangrijkste doel van dit bestand is om u als website-eigenaar te helpen bepalen tot welke informatie zoekmachines toegang hebben. U kunt het gebruiken om te voorkomen dat bots specifieke pagina's of mappen op uw site crawlen. Maar hier is een waarschuwing: niet alle bots houden zich aan de regels. Hoewel gerenommeerde bedrijven zoals Google de richtlijnen volgen, kunnen sommige malafide bots deze negeren.
Verkennen: Crawlerlijst - Ontdek de beste webcrawlers voor SEO
Waarom moet je een Robots.txt-bestand in WordPress bewerken?
Waarom zou u de moeite nemen om het robots.txt-bestand op uw WordPress-site te bewerken? Het blijkt dat er verschillende slimme redenen zijn om dit te doen. Laten we ze opsplitsen:
Verhoog de snelheid van uw site
Niet alle pagina's op uw website hoeven door zoekmachinebots te worden gecrawld. Door deze bots te vertellen de onnodige bots over te slaan, kunt u bronnen vrijmaken en de laadsnelheid van uw site verbeteren . Snellere websites maken bezoekers niet alleen gelukkiger, maar scoren ook beter in de zoekresultaten !
Optimaliseer serverprestaties
Bots die niet bijdragen aan het succes van uw website kunnen uiteindelijk serverbronnen in beslag nemen en uw logbestanden volstoppen met 404-fouten . Door uw robots.txt-bestand te bewerken, kunt u deze ongewenste bots blokkeren, waardoor uw server efficiënt blijft werken en betere prestaties worden gegarandeerd.
Bescherm gevoelige informatie
Bepaalde delen van uw website (zoals beheerderspagina's, privédocumenten of vertrouwelijke inhoud) mogen niet door zoekmachines worden geïndexeerd. Met behulp van het robots.txt-bestand kunt u bots opdracht geven deze gebieden te vermijden, zodat uw privacy en veiligheid worden gewaarborgd.
Leid bots naar de juiste inhoud
Wilt u dat zoekmachines zich op specifieke pagina's of berichten concentreren? Met het robots.txt-bestand kunt u bots naar uw belangrijkste inhoud . Hierdoor kunt u prioriteit geven aan wat wordt geïndexeerd, waardoor uw kansen op een hogere ranking in de zoekresultaten worden vergroot.
Vermijd dubbele inhoudsproblemen
Dubbele inhoud, zoals categorie- of tagpagina's, kan zoekmachines in verwarring brengen en uw SEO-ranking schaden. Met een goed geoptimaliseerd robots.txt-bestand kunt u voorkomen dat bots deze pagina's indexeren, waardoor de inhoud van uw site schoon en zoekmachinevriendelijk blijft.
Gerelateerd: Hoe u dubbele titeltags in WordPress kunt repareren om SEO te verbeteren
Bewerk een Robots.txt-bestand in WordPress: 3 methoden
Nu u de functie van het Robots.txt-bestand in WordPress begrijpt, gaan we kijken hoe u het op drie eenvoudige manieren kunt bewerken.
We zullen u stap voor stap door elke methode leiden. Maar voordat u erin duikt, moet u er rekening mee houden dat als u de FTP-client of cPanel-aanpak gebruikt, u eerst handmatig een robots.txt-bestand moet maken. Laten we beginnen!
Robots.txt bewerken met een FTP-client
Om uw robots.txt-bestand in WordPress te bewerken met een FTP-client, moet u de FTP-client instellen en deze verbinden met uw website. Populaire opties zoals FileZilla en Cyberduck werken prima, maar we zullen FileZilla voor deze handleiding gebruiken.
Stap 1: Verbind uw WordPress-website met FTP.
- Installeer eerst FileZilla op uw computer. Eenmaal geïnstalleerd, opent u de app en navigeert u naar Bestand> Sitebeheer (of drukt u op Ctrl+S voor een snelkoppeling).
- Klik vervolgens op Nieuwe site en geef deze een naam onder 'Mijn sites'.
- Ga nu naar het Algemeen en voer de inloggegevens van uw site in. Deze inloggegevens zijn meestal te vinden in het dashboard van uw hostingprovider.
- Nadat de inloggegevens zijn ingevoerd, klikt u op Verbinden.
Nu, je bent binnen! U ziet de bestandsmap van uw site op de FTP-client. Laten we verder gaan met het uploaden van het robots.txt-bestand.
Stap 2: Upload het Robots.txt-bestand naar WordPress
- Navigeer naar de hoofdmap van uw website, deze wordt gewoonlijk public_html genoemd. Dit is waar het robots.txt-bestand moet worden opgeslagen.
- Als uw robots.txt-bestand er al is, kunt u het vervangen door het nieuwe. Anders uploadt u eenvoudigweg het bestand dat u eerder hebt gemaakt.
En dat is het! Uw robots.txt-bestand is nu aanwezig. Om te bevestigen dat alles werkt, gaat u naar uw browser en voegt u /robots.txt aan het einde van uw domein. Bijvoorbeeld voorbeeld.com/robots.txt.
Leren: Hoe stel ik een FTP-account in voor WordPress?
Robots.txt bewerken met cPanel
Het proces voor het gebruik van cPanel lijkt veel op de FTP-clientmethode. Dit is wat u moet doen:
Stap 1: Log in op cPanel
Begin door in te loggen op het cPanel van uw website. Uw hostingprovider heeft u waarschijnlijk al de inloggegevens gegeven.
Als u eenmaal binnen bent, bladert u omlaag naar het Bestanden en klikt u op Bestandsbeheer.
Stap 2: Upload het Robots.txt-bestand
Navigeer in Bestandsbeheer naar de map public_html Dit is de hoofdmap waar uw robots.txt-bestand moet worden geplaatst.
Als hier al een robots.txt-bestand aanwezig is, vervang dit dan door de nieuwe versie. Als dit niet het geval is, uploadt u uw nieuw gemaakte bestand.
Stap 3: Test het Robots.txt-bestand
Om er zeker van te zijn dat het bestand correct wordt geüpload, typt u uw domein gevolgd door /robots.txt in uw browser (bijvoorbeeld example.com/robots.txt ).
En daar ga je! Of u nu FTP of cPanel heeft gebruikt, uw robots.txt-bestand is nu bijgewerkt en klaar om zoekmachines te begeleiden bij de interactie met uw site.
Ontdek: Top cPanel alternatief hostingplatform voor WordPress
Bewerk Robots.txt met AIOSEO
Een van de gemakkelijkste manieren om uw robots.txt-bestand te bewerken is door de All in One SEO (AIOSEO ) plug-in te gebruiken, een van de beste WordPress SEO-plug-ins die er zijn. Het wordt geleverd met een geavanceerde robots.txt-editor , waardoor het supereenvoudig is om het standaard WordPress-robots.txt-bestand te overschrijven en uw eigen regels in te stellen voor hoe zoekmachines uw site crawlen.
Laten we eens kijken naar het bewerken van uw robots.txt-bestand met AIOSEO!
Stap 1: Aangepaste Robots.txt inschakelen
Ga eerst naar het All in One SEO- menu in uw WordPress-dashboard en klik op Tools . Van daaruit selecteert u het tabblad Robots.txt Editor
AIOSEO genereert automatisch een dynamisch robots.txt-bestand. Dit bestand wordt opgeslagen in uw WordPress-database en kan in uw browser worden bekeken (we laten u zo meteen zien hoe).
Wanneer u zich in de Robots.txt-editor bevindt, moet u eerst Aangepaste Robots.txt inschakelen . Klik eenvoudig op de knop zodat deze blauw wordt en u ontgrendelt de mogelijkheid om uw bestand aan te passen.
Onderaan het scherm ziet u vervolgens een voorbeeld van de standaardregels. Deze standaardinstellingen vertellen robots dat ze bepaalde WordPress-kernbestanden, zoals beheerderspagina's, niet mogen crawlen. U kunt deze regels overschrijven met uw eigen regels!
Stap 2: Uw eigen regels toevoegen
Nu is het tijd om uw eigen aangepaste regels toe te voegen. U heeft hiervoor twee opties: u kunt de Rule Builder of een robots.txt-bestand van een andere site importeren .
Methode 1: Regels toevoegen met behulp van de Rule Builder
de Rule Builder kunt u eenvoudig uw eigen regels maken voor welke pagina's wel of niet moeten worden gecrawld. Als u bijvoorbeeld alle robots uit een tijdelijke map wilt blokkeren, kunt u dat hier doen.
Hier is hoe het werkt:
- User Agent : typ de naam van de robot (zoals “Googlebot”) in het User Agent . Als je de regel op alle robots wilt toepassen, gebruik dan gewoon het *-symbool.
- Richtlijn : Kies uit de beschikbare richtlijnen zoals Allow , Disallow , Clean-param of Crawl-delay .
- Waarde : Voer het mappad of de bestandsnaam in waar de regel moet gelden.
Zodra je alles hebt ingesteld, klik je op Regel toevoegen om indien nodig een nieuwe regel te maken. Vergeet niet op Wijzigingen opslaan als u klaar bent.
U zult uw nieuwe regels zien verschijnen in de Robots.txt Preview . Om uw bijgewerkte bestand te bekijken, klikt u op Open Robots.txt . Hiermee gaat u naar de live URL van uw robots.txt-bestand.
Methode 2: Regels importeren van een andere site
Als u een robots.txt-bestand van een andere site heeft gezien dat u wilt gebruiken, kunt u dit eenvoudig in uw site importeren met behulp van AIOSEO. Hier ziet u hoe:
- Ga naar Extra > Robots.txt > Aangepaste Robots.txt inschakelen in het AIOSEO-menu.
- Klik op de Importeren .
- Plak de URL van de site waarvan u het robots.txt-bestand wilt importeren, of kopieer en plak de inhoud rechtstreeks in de daarvoor bestemde ruimte.
- Klik op Importeren en AIOSEO haalt het bestand op en voegt het toe aan uw site.
Dit is waarschijnlijk de snelste manier om een aangepast robots.txt-bestand op uw site te krijgen!
Uw Robots.txt-regels bewerken
Zodra uw regels zijn ingesteld, kunt u ze opnieuw bewerken met de Rule Builder . U kunt een regel zelfs verwijderen door op het prullenbakpictogram ernaast te klikken.
En hier is een leuke functie: u kunt de volgorde van uw regels wijzigen. Klik gewoon op de zes stippen naast de prullenbak, houd deze vast, sleep de regel naar een nieuwe positie en laat hem los. Dit helpt u prioriteit te geven aan de regels die er het meest toe doen!
Wanneer u klaar bent met het aanbrengen van wijzigingen, klikt u op Wijzigingen opslaan om alles toe te passen.
En dat is het! U heeft uw robots.txt-bestand met succes bewerkt met AIOSEO. Makkelijk, toch?
Verder lezen: Optimale SEO op WordPress: een uitgebreide gids
Conclusie
Kortom: het bewerken van het robots.txt-bestand in WordPress is een eenvoudige maar krachtige manier om te beheren hoe bots van zoekmachines met uw site omgaan. Door dit bestand te maken en aan te passen, kunt u voorkomen dat bots gevoelige of dubbele inhoud crawlen, zodat alleen de meest relevante pagina's worden geïndexeerd.
Bovendien kunt u het robots.txt-bestand gebruiken om bots naar uw favoriete inhoud te leiden, waardoor de SEO en zichtbaarheid van uw site worden verbeterd. Het regelmatig controleren en bijwerken van dit bestand is een belangrijke stap bij het behouden van controle over de prestaties van de zoekmachine van uw site.
