Générateur de robots.txt
Composez votre fichier robots.txt : règles par agent, chemins interdits, préréglage WordPress, délai de crawl et adresse du sitemap. Le fichier complet est produit à copier.
Exploration n’est pas indexation
C’est le malentendu fondamental autour de ce fichier, et il coûte du trafic tous les jours. robots.txt contrôle l’exploration : il dit à un robot quelles adresses il ne doit pas aller chercher. Il ne dit rien de l’indexation, c’est-à-dire de la présence de la page dans les résultats de recherche.
Conséquence directe : une page bloquée par Disallow peut parfaitement apparaître dans Google. Si d’autres pages pointent vers elle, le moteur sait qu’elle existe ; il ne l’a simplement jamais lue. Il l’affiche alors avec son URL nue, sans titre maîtrisé et sans description — le pire des deux mondes.
Pour retirer réellement une page des résultats, il faut une directive noindex, posée dans la page avec le générateur de balises meta ou envoyée en en-tête HTTP. Et cette directive suppose que la page reste explorable : un robot qui ne peut pas charger la page ne lira jamais la consigne qu’elle contient. Bloquer et demander noindex en même temps revient à envoyer une lettre dans une boîte qu’on a murée.
La règle à retenir :
| Votre objectif | Le bon outil |
|---|---|
| Économiser le budget d’exploration sur des milliers d’URL sans intérêt | robots.txt |
| Faire disparaître une page des résultats | noindex, page explorable |
| Protéger un contenu confidentiel | Mot de passe ou authentification |
| Éviter les doublons entre adresses équivalentes | canonical |
Les cinq directives
User-agent:ouvre un bloc de règles.*vise tous les robots,Googlebotun seul.Disallow:interdit un chemin. Vide, il autorise tout le site — ce n’est pas une ligne inutile, c’est la façon canonique de dire « explorez librement ».Allow:rouvre un sous-chemin à l’intérieur d’une zone bloquée. En cas de conflit, les principaux moteurs appliquent la règle la plus longue, pas la première écrite.Crawl-delay:impose une pause entre deux requêtes. Google ne le prend pas en charge ; Bing et Yandex le respectent. Si Google sollicite trop votre serveur, le réglage se fait dans la Search Console.Sitemap:indique l’adresse de votre plan de site, en URL absolue. Cette ligne est indépendante des blocs et peut figurer n’importe où dans le fichier.
Point subtil mais décisif : un robot n’applique qu’un seul bloc, le plus spécifique qui le désigne. Si vous créez un bloc Googlebot, ce robot cesse instantanément de lire le bloc * — il faut donc y recopier toutes les règles qui doivent continuer à lui s’appliquer. C’est l’erreur classique qui ouvre tout un site à Google alors qu’on croyait le restreindre.
Les jokers * (n’importe quelle suite de caractères) et $ (fin d’adresse) sont reconnus par Google et Bing, sans faire partie de la spécification d’origine. Disallow: /*.pdf$ bloque ainsi tous les PDF.
Le cas WordPress
Le préréglage couvre /wp-admin/, /wp-includes/, les recherches internes /*?s=, les aperçus /*?p=, les /trackback/ et xmlrpc.php, et laisse passer /wp-admin/admin-ajax.php — indispensable car de nombreux thèmes chargent du contenu par cette adresse.
Deux réserves honnêtes. D’abord, bloquer /wp-includes/ peut empêcher le chargement de scripts et de feuilles de style nécessaires à l’affichage : Google juge alors la page mal rendue. Vérifiez le rendu avant de conserver cette ligne. Ensuite, les pages de recherche interne et les archives sont mieux traitées par un noindex que par un blocage : le moteur constate qu’elles ne méritent pas les résultats, au lieu d’ignorer leur existence.
Où le placer, et ce qu’il ne fera jamais
Le fichier doit se trouver exactement à /robots.txt, à la racine du domaine, en texte brut. Il s’applique à un seul couple protocole + domaine + port : https://exemple.fr et https://www.exemple.fr réclament chacun le leur, et un fichier placé dans un sous-dossier n’est jamais lu.
Deux comportements utiles à connaître : si le fichier renvoie une erreur 404, tout est considéré comme autorisé ; s’il renvoie une erreur serveur persistante, Google peut temporairement cesser d’explorer le site par précaution. Un robots.txt cassé est donc plus dangereux qu’un robots.txt absent.
Enfin, ce fichier est public et purement déclaratif. N’y listez jamais un chemin que vous souhaitez garder discret : Disallow: /admin-secret/ est une invitation à aller voir. Et les robots malveillants, aspirateurs de contenu et collecteurs d’adresses l’ignorent totalement : seul un contrôle d’accès côté serveur protège quelque chose. Pour inventorier ce que votre site expose réellement, l’extracteur d’URL permet de lister les liens d’une page copiée. Le fichier, lui, est assemblé dans votre navigateur : aucun chemin saisi ici ne nous est transmis.
Questions fréquentes
Un site a-t-il besoin d’un robots.txt ?
Pas obligatoirement. Un site sans robots.txt est entièrement explorable, ce qui convient à la plupart des petits sites. Le fichier devient utile dès qu’il existe des milliers d’adresses sans valeur — filtres, tris, recherches internes — qui consomment le budget d’exploration au détriment de vos vraies pages.
Pourquoi ma page bloquée apparaît-elle quand même dans Google ?
Parce que Disallow empêche la lecture, pas l’affichage. Google sait que l’adresse existe grâce aux liens qui pointent vers elle, et la présente sans description. Pour la retirer vraiment : enlevez le blocage, ajoutez noindex dans la page, laissez le robot venir la lire, puis rebloquez si besoin une fois la page disparue.
Faut-il indiquer le sitemap dans le robots.txt ?
C’est recommandé : c’est le seul moyen de signaler votre plan de site à tous les moteurs d’un coup, sans passer par leurs interfaces respectives. L’adresse doit être absolue, protocole compris. Vous pouvez en déclarer plusieurs, une ligne Sitemap: par fichier.
Comment vérifier que mon fichier fonctionne ?
Ouvrez votre-domaine.fr/robots.txt dans un navigateur : vous devez voir du texte brut, sans mise en forme et sans erreur 404. Testez ensuite une adresse précise avec l’outil de test de la Search Console, qui indique quelle règle s’applique et pourquoi.