You're seeing Seahawk's original 2015 colors and logo. Thousands of WordPress sites maintained since.

Home/Développement/Guide simple pour modifier facilement un fichier robots.txt dans WordPress
Guide

Guide simple pour modifier facilement un fichier robots.txt dans WordPress

By Monika Singh December 13, 2024 Updated January 6, 2026 9 min read

Vous vous demandez comment modifier efficacement le fichier robots.txt dans WordPress ? Ce petit fichier, pourtant essentiel, est comme une feuille de route pour d'exploration des moteurs de recherche : il les guide sur les parties de votre site qu'ils doivent ou ne doivent pas explorer. En le contrôlant, vous aidez les moteurs de recherche à se concentrer sur vos pages les plus importantes, ce qui améliore la vitesse de votre site et son référencement.

Bien que WordPress génère automatiquement un fichier robots.txt pour votre site, celui-ci ne répond pas toujours à vos besoins spécifiques. Il est parfois nécessaire de le modifier pour que les moteurs de recherche ne voient que les pages que vous souhaitez référencer.

Si l'idée de modifier le fichier robots.txt vous paraît intimidante, rassurez-vous : vous êtes au bon endroit ! Dans ce guide, nous allons vous expliquer le rôle du fichier robots.txt, son importance et les méthodes les plus simples pour le modifier sur votre site WordPress. C'est parti !

Comprendre le fichier robots.txt dans WordPress

Parlons du fichier robots.txt dans WordPress : c’est plus simple qu’il n’y paraît ! Ce fichier texte brut se trouve à la racine de votre site web et fournit aux robots d’exploration (ou robots d’indexation) des instructions. Concrètement, il leur indique quelles parties de votre site ils doivent ou ne doivent pas explorer et indexer.

Imaginez que vous donnez aux moteurs de recherche un ensemble de consignes. Par exemple, les robots d'exploration de Google (appelés Googlebot) consultent régulièrement les sites web pour mettre à jour leur index. Lorsqu'ils visitent votre site, ils consultent le fichier robots.txt pour savoir comment procéder.

L'objectif principal de ce fichier est de vous aider, en tant que propriétaire de site web, à contrôler les informations accessibles aux moteurs de recherche. Vous pouvez l'utiliser pour empêcher les robots d'explorer certaines pages ou certains répertoires de votre site. Attention cependant : tous les robots ne respectent pas les règles. Si les plus fiables, comme Google, suivent les consignes, certains robots malveillants peuvent les ignorer.

Explorez : Liste des robots d'exploration - Découvrir les meilleurs robots d'exploration Web pour le référencement naturel

Pourquoi est-il nécessaire de modifier le fichier robots.txt dans WordPress ?

Pourquoi devriez-vous modifier le fichier robots.txt de votre site WordPress ? Il existe en réalité plusieurs bonnes raisons de le faire. Examinons-les en détail :

Améliorez la vitesse de votre site

Toutes les pages de votre site web n'ont pas besoin d'être indexées par les robots des moteurs de recherche. En leur indiquant d'ignorer les pages inutiles, vous libérez des ressources et améliorez la vitesse de chargement de votre site. Un site web plus rapide est non seulement plus agréable pour les visiteurs, mais il est aussi mieux référencé dans les résultats de recherche !

Optimiser les performances du serveur

Les robots qui ne contribuent pas au succès de votre site web peuvent monopoliser les ressources du serveur et encombrer vos journaux d' erreurs 404.Modifier votre fichier robots.txt vous permet de bloquer ces robots indésirables, ce qui garantit le bon fonctionnement de votre serveur et de meilleures performances.

Protéger les informations sensibles

Certaines parties de votre site web, comme les pages d'administration, les documents privés ou les contenus confidentiels, ne doivent pas être indexées par les moteurs de recherche. Grâce au fichier robots.txt, vous pouvez indiquer aux robots d'exploration d'éviter ces zones, contribuant ainsi à protéger votre confidentialité et votre sécurité.

Apprenez à résoudre le problème « Nouvelle raison empêchant l’indexation de vos pages » dans la Search Console

Guider les robots vers le contenu approprié

Vous souhaitez que les moteurs de recherche privilégient certaines pages ou certains articles ? Le fichier robots.txt vous permet d’orienter les robots vers votre contenu. Cela vous aide à prioriser l’indexation de votre contenu et à améliorer vos chances d’obtenir un meilleur classement dans les résultats de recherche.

Éviter les problèmes de contenu dupliqué

Le contenu dupliqué, comme les pages de catégories ou d'étiquettes, peut perturber les moteurs de recherche et nuire à votre référencement. Un fichier robots.txt bien optimisé permet d'empêcher les robots d'indexer ces pages, garantissant ainsi un contenu propre et optimisé pour les moteurs de recherche.

Article connexe : Comment corriger les balises de titre dupliquées dans WordPress pour améliorer le référencement

Modifier un fichier robots.txt dans WordPress : 3 méthodes

Maintenant que vous comprenez la fonction du fichier Robots.txt dans WordPress, voyons comment le modifier de trois manières simples.

  • Utilisation d'un client FTP
  • Utilisation de cPanel
  • Utilisation du plugin AIOSEO

Nous allons vous guider pas à pas à travers chaque méthode. Mais avant de commencer, n'oubliez pas que si vous utilisez un client FTP ou cPanel, vous devrez d'abord créer manuellement un fichier robots.txt. C'est parti !

Modification du fichier robots.txt à l'aide d'un client FTP

Pour modifier votre fichier robots.txt sur WordPress avec un client FTP, vous devez configurer ce dernier et le connecter à votre site web. FileZilla et Cyberduck sont d'excellents logiciels, mais nous utiliserons FileZilla dans ce guide.

Étape 1 : Connectez votre site web WordPress au FTP.

  • Commencez par installer FileZilla sur votre ordinateur. Une fois l'installation terminée, ouvrez l'application et accédez à Fichier > Gestionnaire de sites (ou appuyez sur Ctrl+S pour un raccourci).
  • Ensuite, cliquez sur Nouveau site et donnez-lui un nom sous « Mes sites ».
  • Passez maintenant à l' Général et saisissez les identifiants de votre site. Vous trouverez généralement ces identifiants sur le tableau de bord de votre hébergeur.
  • Une fois les identifiants saisis, cliquez sur « Se connecter ».

Ça y est ! Vous verrez le répertoire des fichiers de votre site dans le client FTP. Passons maintenant au chargement du fichier robots.txt.

Étape 2 : Téléversez le fichier Robots.txt sur WordPress

  • Accédez au répertoire racine de votre site web, généralement nommé public_html. C'est là que doit se trouver le fichier robots.txt.
  • Si votre fichier robots.txt existe déjà, vous pouvez le remplacer par le nouveau. Sinon, téléchargez simplement le fichier que vous avez créé précédemment.

Et voilà ! Votre fichier robots.txt est maintenant en place. Pour vérifier que tout fonctionne correctement, ouvrez votre navigateur et ajoutez /robots.txt à la fin de votre nom de domaine. Par exemple : example.com/robots.txt.

Apprenez : Comment configurer un compte FTP pour WordPress ?

Modification du fichier robots.txt via cPanel

La procédure d'utilisation de cPanel est assez similaire à celle d'un client FTP. Voici comment procéder :

Étape 1 : Se connecter à cPanel

Commencez par vous connecter au cPanel de votre site web. Votre hébergeur devrait déjà vous avoir communiqué vos identifiants.

Une fois connecté, faites défiler vers le bas jusqu'à la Fichiers et cliquez sur Gestionnaire de fichiers.

Étape 2 : Téléversez le fichier Robots.txt

Dans le gestionnaire de fichiers, accédez au public_html . Il s'agit du dossier racine où doit se trouver votre fichier robots.txt.

S'il existe déjà un fichier robots.txt, remplacez-le par la nouvelle version. Sinon, téléchargez le fichier que vous venez de créer.

Étape 3 : Tester le fichier Robots.txt

Pour vous assurer que le fichier est correctement téléchargé, saisissez votre domaine suivi de /robots.txt dans votre navigateur (par exemple, example.com/robots.txt).

Et voilà ! Que vous ayez utilisé FTP ou cPanel, votre fichier robots.txt est maintenant mis à jour et prêt à indiquer aux moteurs de recherche comment interagir avec votre site.

Découvrez : Les meilleures plateformes d'hébergement alternatives à cPanel pour WordPress

Modifier le fichier robots.txt à l'aide d'AIOSEO

L'un des moyens les plus simples de modifier votre fichier robots.txt est d'utiliser l' All in One SEO (AIOSEO) , l'une des meilleures extensions SEO pour WordPress . Elle intègre un éditeur robots.txt, ce qui simplifie considérablement la personnalisation du fichier robots.txt par défaut de WordPress et la définition de vos propres règles de référencement pour les moteurs de recherche.

Découvrons comment modifier votre fichier robots.txt à l'aide d'AIOSEO !

Étape 1 : Activer le fichier robots.txt personnalisé

Tout d'abord, accédez au All in One SEO de votre tableau de bord WordPress et cliquez sur Outils. Ensuite, sélectionnez l' Éditeur Robots.txt .

AIOSEO générera automatiquement un fichier robots.txt dynamique. Ce fichier est stocké dans votre base de données WordPress et peut être consulté dans votre navigateur (nous vous montrerons comment faire dans un instant).

Dans l'éditeur Robots.txt, la première étape consiste à activer la personnalisation du fichier Robots.txt. Cliquez simplement sur le bouton pour qu'il devienne bleu et vous pourrez ainsi personnaliser votre fichier.

Vous verrez alors un aperçu des règles par défaut en bas de l'écran. Ces paramètres par défaut indiquent aux robots d'exploration de ne pas explorer certains fichiers principaux de WordPress, comme les pages d'administration. Vous pouvez remplacer ces règles par les vôtres !

Étape 2 : Ajouter vos propres règles

Il est maintenant temps d'ajouter vos propres règles personnalisées. Deux options s'offrent à vous : utiliser le générateur de règles ou importer un fichier robots.txt depuis un autre site.

Méthode 1 : Ajouter des règles à l’aide du générateur de règles

Le générateur de règles vous permet de créer facilement vos propres règles concernant les pages à explorer ou à exclure. Par exemple, si vous souhaitez bloquer l'accès à un répertoire temporaire pour tous les robots d'indexation, c'est ici que vous pouvez le faire.

Voici comment ça fonctionne :

  1. Agent utilisateur : Saisissez le nom du robot (par exemple « Googlebot ») dans le Agent utilisateur . Si vous souhaitez appliquer la règle à tous les robots, utilisez simplement le symbole *.
  2. Directive: Choisissez parmi les directives disponibles telles que Allow, Disallow, Clean-paramou Crawl-delay.
  3. Valeur: Saisissez le chemin d'accès au répertoire ou le nom du fichier auquel la règle doit s'appliquer.

Une fois la configuration terminée, cliquez sur Ajouter une règle pour en créer une autre si nécessaire. N'oubliez pas de cliquer sur Enregistrer les modifications une fois terminé.

Vos nouvelles règles s'afficheront dans la Aperçu du fichier robots.txt . Pour consulter votre fichier mis à jour, cliquez simplement sur Ouvrir robots.txt. Vous serez alors redirigé vers l'URL de votre fichier robots.txt.

Méthode 2 : Importer les règles depuis un autre site

Si vous avez repéré un fichier robots.txt sur un autre site et que vous souhaitez l'utiliser, vous pouvez facilement l'importer sur votre site grâce à AIOSEO. Voici comment procéder :

  1. Dans le menu AIOSEO, allez dans Outils > Robots.txt > Activer le fichier Robots.txt personnalisé
  2. Cliquez sur l' Importer .
  3. Collez l'URL du site à partir duquel vous souhaitez importer le fichier robots.txt, ou copiez et collez directement le contenu dans l'espace prévu à cet effet.
  4. Cliquez sur Importer, et AIOSEO extraira le fichier et l'ajoutera à votre site.

C'est probablement la méthode la plus rapide pour obtenir un fichier robots.txt personnalisé sur votre site !

Essayez AIOSEO dès aujourd'hui

Modifier les règles de votre fichier robots.txt

Une fois vos règles définies, vous pouvez les modifier à nouveau à l'aide du générateur de règles. Vous pouvez même supprimer une règle en cliquant sur l'icône de la corbeille située à côté.

Voici une fonctionnalité pratique : vous pouvez modifier l’ordre de vos règles. Il suffit de cliquer et de maintenir le clic sur les six points à côté de la corbeille, de faire glisser la règle vers une nouvelle position, puis de relâcher. Cela vous permet de prioriser les règles les plus importantes !

Une fois vos modifications terminées, cliquez simplement sur Enregistrer les modifications pour tout appliquer.

Et voilà ! Vous avez modifié avec succès votre fichier robots.txt à l'aide d'AIOSEO. Facile, non ?

Pour en savoir plus : Référencement optimal sur WordPress : un guide complet

Conclusion

En conclusion, modifier le fichier robots.txt dans WordPress est une méthode simple et efficace pour gérer l'interaction des robots des moteurs de recherche avec votre site. En créant et en personnalisant ce fichier, vous pouvez empêcher les robots d'explorer les contenus sensibles ou dupliqués, garantissant ainsi que seules les pages les plus pertinentes soient indexées.

De plus, le fichier robots.txt vous permet d'orienter les robots d'exploration vers le contenu que vous souhaitez privilégier, contribuant ainsi à améliorer le référencement naturel et la visibilité de votre site. La consultation et la mise à jour régulières de ce fichier sont essentielles pour optimiser le positionnement de votre site dans les moteurs de recherche.

WP Services

WordPress services at revolutionary pricing.

Productized WordPress services, from builds to care, delivered by Seahawk and tracked in one app. For the WordPress lovers.