Qu'est-ce qu'un générateur de robots.txt ?
Un générateur de robots.txt crée un fichier texte qui donne aux crawlers web participants des indications sur les chemins qu'ils peuvent explorer sur votre site. Le fichier est publié à la racine d'un domaine, par exemple example.com/robots.txt. Il peut contenir des groupes pour un ou plusieurs user-agents, des règles allow ou disallow, une valeur optionnelle de crawl-delay et l'emplacement du sitemap. Cet outil prépare le texte localement pour que vous puissiez le relire avant publication.
Créez un fichier robots.txt
- Saisissez un astérisque pour appliquer les règles à tous les crawlers, ou ajoutez des noms de user-agent précis.
- Ajoutez des chemins allow ou disallow commençant par une barre oblique.
- Incluez éventuellement un crawl-delay et l'URL complète du sitemap.
- Générez le fichier, puis copiez ou téléchargez robots.txt.
Si vous laissez la liste de règles vide, ce générateur écrit une règle allow pour tout le site. Ajoutez une règle disallow uniquement pour les chemins que vous voulez volontairement éloigner des crawlers. Une règle de chemin est une instruction de crawl, pas un contrôle de sécurité. Les pages et fichiers sensibles ont toujours besoin d'authentification, d'autorisation ou d'une autre protection.
Comprendre allow et disallow
Une règle Allow indique qu'un crawler peut accéder à un chemin correspondant, tandis que Disallow indique qu'il devrait éviter de le crawler. Les crawlers n'ont pas tous le même support de la syntaxe robots avancée, donc des règles de chemin simples sont le point de départ le plus sûr. Si plusieurs règles se chevauchent, le comportement peut dépendre de la correspondance la plus spécifique et de l'implémentation du crawler.
Utilisez une barre oblique au début de chaque chemin. Par exemple, /admin/ cible ce dossier, et /search? peut cibler des motifs d'URL selon le support du crawler. Relisez chaque ligne après génération. Une règle trop large peut empêcher par accident l'accès à des pages importantes, des feuilles de style ou du contenu nécessaire pour comprendre votre site.
Sitemap et crawl-delay
La ligne Sitemap donne aux crawlers l'URL absolue de votre sitemap XML. Elle est utile même si vous soumettez aussi le sitemap via une console de moteur de recherche. Crawl-delay est pris en charge par certains crawlers seulement, et sa signification exacte peut varier. Utilisez-le avec prudence ; un délai élevé peut ralentir le crawl et la découverte de pages nouvelles ou mises à jour.
Publiez avec soin
Téléversez le fichier terminé à la racine du bon domaine et testez-le après déploiement. Un robots.txt ne garantit pas qu'une URL n'apparaîtra jamais dans les résultats de recherche, surtout si d'autres pages y renvoient. Utilisez une directive noindex ou des contrôles d'accès lorsque c'est l'objectif réel. Le générateur ne publie ni ne teste votre fichier en ligne, donc vérifiez-le avec votre hébergement et vos outils de crawl.