Générateur de robots.txt
Le fichier robots.txt dit aux moteurs de recherche et aux robots des IA ce qu'ils peuvent lire sur votre site. Faites vos choix, copiez le résultat, déposez-le à la racine du site.
Attention : avec ce réglage, votre site disparaîtra des moteurs. À retirer le jour de la mise en ligne.
Robots des IA
Les noms de robots sont ceux publiés par leurs éditeurs à ma connaissance. Ils évoluent : vérifiez la documentation de chacun avant de bloquer.
Autoriser ou bloquer les IA ?
- A
Pour être cité
Si vous voulez que les IA puissent recommander votre entreprise, laissez entrer leurs robots de recherche. Les bloquer vous retire de leurs sources.
- B
Entraînement ou recherche
Certains robots servent à entraîner les modèles, d'autres à répondre en direct. On peut refuser les premiers et accepter les seconds.
- C
Une consigne, pas une serrure
Le fichier robots.txt est respecté par les robots sérieux, mais il ne protège rien. Ne l'utilisez pas pour cacher une page confidentielle.
Questions fréquentes
Où placer le fichier ?
À la racine du site, sous le nom exact robots.txt : il doit s'afficher à l'adresse de votre site suivie de /robots.txt. Beaucoup d'outils de création de site le gèrent dans leurs réglages.
Bloquer une page dans robots.txt la retire-t-il de Google ?
Pas forcément. Le fichier empêche la lecture de la page, pas son affichage si d'autres sites y renvoient. Pour retirer une page des résultats, il faut un réglage « ne pas indexer » sur la page elle-même.
Faut-il bloquer les robots des IA ?
Pour une entreprise qui cherche des clients, rarement. Voir Référencement ChatGPT et Référencement Gemini.
Mon site n'a pas de robots.txt, est-ce grave ?
Non. Sans ce fichier, les robots considèrent que tout est autorisé. Il devient utile pour indiquer le plan du site ou pour écarter certains dossiers.
Autres outils
Parlons de votre projet
Réservez un appel de 30 minutes, ou décrivez votre projet en quelques lignes :
bonjour@tarmou.site