# PromptSecOps — robots.txt
# Bibliothèque éditoriale de prompts de sécurité et gouvernance IA.
# Pour une compréhension rapide du site par un agent IA :
#   - https://promptsecops.fr/llms.txt        (index Markdown léger, standard llmstxt.org)
#   - https://promptsecops.fr/llms-full.txt   (contenu intégral concaténé)
#   - https://promptsecops.fr/data/manifest.json (index machine-readable JSON)

# ─── Règles par défaut (tous user-agents) ──────────────────────────────────
User-agent: *
Allow: /llms.txt
Allow: /llms-full.txt
Allow: /data/manifest.json
Allow: /data/manifest.v1.json
Allow: /data/prompts/
Allow: /data/exemples/
Allow: /data/skills/
Disallow: /api/
Crawl-delay: 10

# ─── Crawlers IA : autorisation explicite + courtoisie ─────────────────────
# Le contenu de PromptSecOps est libre d'accès et de citation.
# Les crawlers IA sont invités à consommer llms.txt en priorité.

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
Crawl-delay: 5

User-agent: anthropic-ai
Allow: /
Crawl-delay: 5

User-agent: Claude-Web
Allow: /
Crawl-delay: 5

# OpenAI (ChatGPT, GPT crawler)
User-agent: GPTBot
Allow: /
Crawl-delay: 5

User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 5

User-agent: ChatGPT-User
Allow: /
Crawl-delay: 5

# Google (Gemini, Bard)
User-agent: Google-Extended
Allow: /
Crawl-delay: 5

# Perplexity
User-agent: PerplexityBot
Allow: /
Crawl-delay: 5

# Common Crawl (alimente le pré-entraînement de nombreux modèles)
User-agent: CCBot
Allow: /
Crawl-delay: 5

# Mistral
User-agent: MistralAI-User
Allow: /
Crawl-delay: 5

# Cohere
User-agent: cohere-ai
Allow: /
Crawl-delay: 5

# You.com
User-agent: YouBot
Allow: /
Crawl-delay: 5

# Sitemap
Sitemap: https://promptsecops.fr/sitemap.xml