Free Robots.txt Generator — Create your robots.txt file online

Create a perfect SEO robots.txt file with the visual builder, ready-to-use templates (WordPress, e-commerce, SaaS) or the raw editor. Built-in validation, direct download.

Constructeur visuel Modèles prêts à l'emploi Éditeur brut

Paramètres globaux

URL du sitemap

Crawl-delay global (secondes, optionnel)

Hôte canonique

🔵

WordPress

Bloque wp-admin, wp-includes, xmlrpc

All bots wp-admin bloqué

🛒

E-commerce

Bloque panier, compte, paiement, recherche

Produits indexés Checkout bloqué

📝

Blog / Média

Optimisé pour contenu éditorial

Articles indexés Tags/Archives limités

⚙️

SaaS / Application

Dashboard et espace utilisateur protégés

Landing indexée Dashboard bloqué

🚫

Bloquer tous les robots

Désindexation complète du site

Tout bloqué

✅

Tout autoriser

Accès complet à tous les robots

Accès total

Aperçu robots.txt LIVE

robots.txt : guide complet pour le SEO

Le fichier robots.txt est un fichier texte placé à la racine de votre site qui indique aux robots d'indexation (Googlebot, Bingbot, etc.) quelles pages ils sont autorisés ou non à explorer. Bien configuré, il améliore l'efficacité de votre budget de crawl et protège vos pages privées des moteurs de recherche.

⚠️ robots.txt ≠ protection de données ! Le fichier robots.txt est une convention, pas une mesure de sécurité. Les robots malveillants ignorent ces directives. Pour protéger des données sensibles, utilisez une authentification ou des règles serveur.

Directives essentielles

Directive	Rôle	Exemple
`User-agent`	Définit le robot ciblé. `*` = tous	`User-agent: Googlebot`
`Disallow`	Interdit l'accès à un chemin	`Disallow: /admin/`
`Allow`	Autorise explicitement un chemin (prioritaire sur Disallow)	`Allow: /admin/logo.png`
`Sitemap`	Déclare l'URL du sitemap XML	`Sitemap: https://exemple.com/sitemap.xml`
`Crawl-delay`	Délai en secondes entre deux requêtes	`Crawl-delay: 10`
`Host`	URL canonique du site (Yandex)	`Host: exemple.com`

Robots les plus courants

Googlebot

Google — principal

Googlebot-Image

Google Images

Bingbot

Microsoft Bing

GPTBot

ChatGPT / OpenAI

anthropic-ai

Claude / Anthropic

facebookexternalhit

Meta / Facebook

Bonnes pratiques robots.txt

Toujours déclarer votre Sitemap: dans le robots.txt pour faciliter la découverte par Google.
Utilisez des barres obliques finales sur les répertoires : Disallow: /admin/ plutôt que /admin.
Un Disallow: vide signifie "tout autoriser". Un Disallow: / signifie "tout bloquer".
Bloquez les pages générées par paramètres de session (?session=) pour économiser le budget de crawl.
Vérifiez votre robots.txt avec Google Search Console → Exploration → Testeur robots.txt.

Tools in the same category

XML Sitemap Generator Générateur Meta SEO Analyseur de densité de mots-clés Quick SEO Audit JSON-LD Schema Generator Title & Meta Description Analyzer