###############################################
#            Robots.txt optimisé              #
#   SEO-friendly + respect IA sélectionnée    #
###############################################

# --- Autoriser les moteurs légitimes ---

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /


# --- Autoriser les outils SEO professionnels ---

User-agent: SemrushBot
Allow: /

User-agent: AhrefsBot
Allow: /

User-agent: serpstatbot
Allow: /

# (Note : DotBot = Ahrefs, doublon non nécessaire)


# --- Autoriser explicitement les bots OpenAI ---

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /


# --- Bloquer les IA parasites et scrapers agressifs ---

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /


# --- Bloquer les scrapers génériques ---

User-agent: python-requests
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: wget
Disallow: /

User-agent: curl
Disallow: /

User-agent: Java
Disallow: /


# --- Règle par défaut pour les autres robots ---

User-agent: *
Allow: /


# --- Sitemap ---

Sitemap: https://www.asiaflash.com/sitemap.xml