Robots.txt

Glossaire Web — SEO / Référencement

Le fichier robots.txt est un fichier texte placé à la racine de votre site web qui indique aux robots des moteurs de recherche (Googlebot, Bingbot…) quelles parties de votre site ils sont autorisés ou non à explorer. C’est un protocole d’exclusion volontaire : il ne bloque pas physiquement l’accès mais demande poliment aux robots de respecter vos consignes.

À quoi sert le robots.txt ?

Le robots.txt a deux usages principaux en SEO :

Bloquer l’exploration de pages inutiles — certaines pages de votre site n’ont aucun intérêt à être explorées par Google : pages d’administration WordPress (/wp-admin/), résultats de recherche interne, pages de panier WooCommerce vides, fichiers de cache, etc. Bloquer ces pages préserve votre budget de crawl pour les pages importantes.
Indiquer l’emplacement du sitemap — le robots.txt peut contenir une directive “Sitemap:” qui pointe vers votre fichier sitemap XML, permettant à tous les moteurs de recherche de le découvrir automatiquement.

Attention importante : bloquer une page dans robots.txt ne la désindexe pas. Si d’autres sites font des liens vers cette page, Google peut la connaître et l’afficher dans les résultats (sans pouvoir crawler son contenu). Pour empêcher l’indexation, utilisez la balise meta noindex dans le code HTML de la page.

La syntaxe du robots.txt

Le fichier robots.txt utilise une syntaxe simple composée de directives :

User-agent — identifie le robot concerné par les règles qui suivent. “User-agent: *” s’applique à tous les robots. “User-agent: Googlebot” ne s’applique qu’à Google.
Disallow — interdit l’accès à un chemin spécifique. “Disallow: /wp-admin/” bloque tout le répertoire d’administration WordPress.
Allow — autorise l’accès à un chemin spécifique, même si un répertoire parent est bloqué. “Allow: /wp-admin/admin-ajax.php” autorise ce fichier spécifique nécessaire au fonctionnement de certaines extensions.
Sitemap — déclare l’URL de votre sitemap XML. “Sitemap: https://jeff-web.fr/sitemap_index.xml”.

Le robots.txt de WordPress

WordPress génère un robots.txt virtuel par défaut qui contient des règles basiques. Les extensions SEO comme Rank Math permettent de personnaliser le contenu du robots.txt directement depuis le tableau de bord WordPress, sans avoir à modifier le fichier manuellement sur le serveur.

Un robots.txt typique pour un site WordPress :

Bloquer /wp-admin/ — le tableau de bord d’administration n’a aucun intérêt à être exploré par Google.
Autoriser /wp-admin/admin-ajax.php — ce fichier est nécessaire au fonctionnement du front-end de certains plugins et thèmes.
Bloquer /wp-includes/ — les fichiers système de WordPress n’ont pas besoin d’être crawlés.
Bloquer les paramètres de recherche — les pages de résultats de recherche interne (?s=…) créent du contenu dupliqué et gaspillent du budget de crawl.
Déclarer le sitemap — la directive Sitemap en fin de fichier pour faciliter la découverte.

Erreurs courantes du robots.txt

Bloquer le CSS et JavaScript — Google a besoin d’accéder à vos fichiers CSS et JS pour effectuer le rendering de la page. Les bloquer empêche Google de voir votre site tel que les visiteurs le voient.
Bloquer toutes les images — sauf raison spécifique, vos images doivent être accessibles aux robots pour être indexées dans Google Images.
“Disallow: /” tout bloquer — cette directive bloque l’intégralité du site. C’est utile pendant le développement mais catastrophique si laissé en production. Vérifiez toujours votre robots.txt après la mise en ligne.
Confondre robots.txt et noindex — le robots.txt contrôle le crawl (exploration), pas l’indexation. Pour empêcher une page d’apparaître dans Google, utilisez la balise noindex.

Le robots.txt est l’un des fichiers les plus simples de votre site mais aussi l’un des plus sensibles. Une erreur de configuration peut rendre tout votre site invisible sur Google. Chez Jeff-Web, nous configurons le robots.txt de chaque site via Rank Math et nous le vérifions après chaque mise en production pour éviter les mauvaises surprises.

Vérifier son robots.txt

Pour voir le robots.txt de n’importe quel site, ajoutez simplement /robots.txt à l’URL du site (exemple : jeff-web.fr/robots.txt). Google Search Console propose un outil de test du robots.txt qui permet de vérifier si une URL spécifique est bloquée ou autorisée selon les règles définies.

🔗 Voir aussi : SEO 🔗 Voir aussi : Indexation 🔗 Voir aussi : Sitemap XML 🔗 Voir aussi : Google Search Console

🔗 Voir aussi : Crawl

🔗 Voir aussi : WordPress

Besoin d’améliorer votre référencement ?

Demander un audit SEO gratuit Nos services SEO