Robots.txt
À quoi sert le robots.txt ?
Le robots.txt a deux usages principaux en SEO :
- Bloquer l’exploration de pages inutiles — certaines pages de votre site n’ont aucun intérêt à être explorées par Google : pages d’administration WordPress (/wp-admin/), résultats de recherche interne, pages de panier WooCommerce vides, fichiers de cache, etc. Bloquer ces pages préserve votre budget de crawl pour les pages importantes.
- Indiquer l’emplacement du sitemap — le robots.txt peut contenir une directive “Sitemap:” qui pointe vers votre fichier sitemap XML, permettant à tous les moteurs de recherche de le découvrir automatiquement.
Attention importante : bloquer une page dans robots.txt ne la désindexe pas. Si d’autres sites font des liens vers cette page, Google peut la connaître et l’afficher dans les résultats (sans pouvoir crawler son contenu). Pour empêcher l’indexation, utilisez la balise meta noindex dans le code HTML de la page.
La syntaxe du robots.txt
Le fichier robots.txt utilise une syntaxe simple composée de directives :
- User-agent — identifie le robot concerné par les règles qui suivent. “User-agent: *” s’applique à tous les robots. “User-agent: Googlebot” ne s’applique qu’à Google.
- Disallow — interdit l’accès à un chemin spécifique. “Disallow: /wp-admin/” bloque tout le répertoire d’administration WordPress.
- Allow — autorise l’accès à un chemin spécifique, même si un répertoire parent est bloqué. “Allow: /wp-admin/admin-ajax.php” autorise ce fichier spécifique nécessaire au fonctionnement de certaines extensions.
- Sitemap — déclare l’URL de votre sitemap XML. “Sitemap: https://jeff-web.fr/sitemap_index.xml”.
Le robots.txt de WordPress
WordPress génère un robots.txt virtuel par défaut qui contient des règles basiques. Les extensions SEO comme Rank Math permettent de personnaliser le contenu du robots.txt directement depuis le tableau de bord WordPress, sans avoir à modifier le fichier manuellement sur le serveur.
Un robots.txt typique pour un site WordPress :
- Bloquer /wp-admin/ — le tableau de bord d’administration n’a aucun intérêt à être exploré par Google.
- Autoriser /wp-admin/admin-ajax.php — ce fichier est nécessaire au fonctionnement du front-end de certains plugins et thèmes.
- Bloquer /wp-includes/ — les fichiers système de WordPress n’ont pas besoin d’être crawlés.
- Bloquer les paramètres de recherche — les pages de résultats de recherche interne (?s=…) créent du contenu dupliqué et gaspillent du budget de crawl.
- Déclarer le sitemap — la directive Sitemap en fin de fichier pour faciliter la découverte.
Erreurs courantes du robots.txt
- Bloquer le CSS et JavaScript — Google a besoin d’accéder à vos fichiers CSS et JS pour effectuer le rendering de la page. Les bloquer empêche Google de voir votre site tel que les visiteurs le voient.
- Bloquer toutes les images — sauf raison spécifique, vos images doivent être accessibles aux robots pour être indexées dans Google Images.
- “Disallow: /” tout bloquer — cette directive bloque l’intégralité du site. C’est utile pendant le développement mais catastrophique si laissé en production. Vérifiez toujours votre robots.txt après la mise en ligne.
- Confondre robots.txt et noindex — le robots.txt contrôle le crawl (exploration), pas l’indexation. Pour empêcher une page d’apparaître dans Google, utilisez la balise noindex.
Vérifier son robots.txt
Pour voir le robots.txt de n’importe quel site, ajoutez simplement /robots.txt à l’URL du site (exemple : jeff-web.fr/robots.txt). Google Search Console propose un outil de test du robots.txt qui permet de vérifier si une URL spécifique est bloquée ou autorisée selon les règles définies.
Besoin d’améliorer votre référencement ?