Générateur robots.txt gratuit — Créer votre fichier robots.txt en ligne

Créez un fichier robots.txt parfait pour le SEO grâce au constructeur visuel, aux modèles prêts à l'emploi (WordPress, e-commerce, SaaS) ou à l'éditeur brut. Validation intégrée, téléchargement direct.

Constructeur visuel Modèles prêts à l'emploi Éditeur brut

Paramètres globaux

URL du sitemap

Crawl-delay global (secondes, optionnel)

Hôte canonique

🔵

WordPress

Bloque wp-admin, wp-includes, xmlrpc

All bots wp-admin bloqué

🛒

E-commerce

Bloque panier, compte, paiement, recherche

Produits indexés Checkout bloqué

📝

Blog / Média

Optimisé pour contenu éditorial

Articles indexés Tags/Archives limités

⚙️

SaaS / Application

Dashboard et espace utilisateur protégés

Landing indexée Dashboard bloqué

🚫

Bloquer tous les robots

Désindexation complète du site

Tout bloqué

✅

Tout autoriser

Accès complet à tous les robots

Accès total

Aperçu robots.txt LIVE

robots.txt : guide complet pour le SEO

Le fichier robots.txt est un fichier texte placé à la racine de votre site qui indique aux robots d'indexation (Googlebot, Bingbot, etc.) quelles pages ils sont autorisés ou non à explorer. Bien configuré, il améliore l'efficacité de votre budget de crawl et protège vos pages privées des moteurs de recherche.

⚠️ robots.txt ≠ protection de données ! Le fichier robots.txt est une convention, pas une mesure de sécurité. Les robots malveillants ignorent ces directives. Pour protéger des données sensibles, utilisez une authentification ou des règles serveur.

Directives essentielles

Directive	Rôle	Exemple
`User-agent`	Définit le robot ciblé. `*` = tous	`User-agent: Googlebot`
`Disallow`	Interdit l'accès à un chemin	`Disallow: /admin/`
`Allow`	Autorise explicitement un chemin (prioritaire sur Disallow)	`Allow: /admin/logo.png`
`Sitemap`	Déclare l'URL du sitemap XML	`Sitemap: https://exemple.com/sitemap.xml`
`Crawl-delay`	Délai en secondes entre deux requêtes	`Crawl-delay: 10`
`Host`	URL canonique du site (Yandex)	`Host: exemple.com`

Robots les plus courants

Googlebot

Google — principal

Googlebot-Image

Google Images

Bingbot

Microsoft Bing

GPTBot

ChatGPT / OpenAI

anthropic-ai

Claude / Anthropic

facebookexternalhit

Meta / Facebook

Bonnes pratiques robots.txt

Toujours déclarer votre Sitemap: dans le robots.txt pour faciliter la découverte par Google.
Utilisez des barres obliques finales sur les répertoires : Disallow: /admin/ plutôt que /admin.
Un Disallow: vide signifie "tout autoriser". Un Disallow: / signifie "tout bloquer".
Bloquez les pages générées par paramètres de session (?session=) pour économiser le budget de crawl.
Vérifiez votre robots.txt avec Google Search Console → Exploration → Testeur robots.txt.

Outils de la même catégorie

Générateur Sitemap XML Générateur Meta SEO Analyseur de densité de mots-clés Audit SEO rapide Générateur Schema JSON-LD Analyseur Title & Meta Description

Outils populaires

Calculateur Matériaux Calculateur Pente Toiture Générateur Planning Travaux Simulateur Coût Rénovation Calculateur Coût Embauche