À quoi sert vraiment le fichier robots.txt ?
Le robots.txt sert à indiquer aux robots d’exploration quelles parties de votre site ils ne sont pas autorisés à explorer. Il ne s’agit pas d’une méthode pour désindexer une page (pour cela, on utilise la balise noindex), mais plutôt pour gérer le « budget de crawl ».
Pour une explication technique complète, consultez notre guide sur le critère G7 — Fichier robots.txt.
Ce qu’il ne faut JAMAIS bloquer
L’erreur la plus courante est de bloquer l’accès aux fichiers CSS et JavaScript. Google a besoin de « voir » votre page comme un utilisateur la voit pour juger de sa qualité. S’il ne peut pas charger le CSS et le JS, il voit une page « cassée » et peut la pénaliser.
Règle d’or : Ne bloquez jamais les répertoires /wp-content/themes/ et /wp-content/plugins/.
Modèle de robots.txt safe pour WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.votresite.com/sitemap_index.xmlCas particulier : le e-commerce (WooCommerce)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /panier/
Disallow: /mon-compte/
Disallow: /commande/
Sitemap: https://www.votresite.com/sitemap_index.xmlComment tester votre fichier robots.txt ?
La Google Search Console propose un testeur de robots.txt. Pensez aussi à référencer votre Sitemap XML dans le fichier. Pour une compréhension approfondie du SEO technique, téléchargez notre Ebook SEO 2026 gratuit.