############################ # Règles générales ############################ User-agent: * Disallow: /contact/parts/ Allow: / Crawl-delay: 5 ############################ # Règles spécifiques ############################ User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: User-agent: Googlebot-News Disallow: User-agent: Googlebot-Video Disallow: User-agent: AdsBot-Google Disallow: User-agent: Bingbot Disallow: User-agent: DuckDuckBot Disallow: User-agent: Applebot Disallow: ############################ # Limiter crawlers agressifs ############################ User-agent: AhrefsBot Crawl-delay: 10 User-agent: SemrushBot Crawl-delay: 10 User-agent: MJ12bot Crawl-delay: 10 User-agent: DotBot Crawl-delay: 10 User-agent: PetalBot Crawl-delay: 10 User-agent: Baiduspider Crawl-delay: 10 User-agent: Yandex Crawl-delay: 10 User-agent: Sogou web spider Crawl-delay: 10 User-agent: SeznamBot Crawl-delay: 10 User-agent: Exabot Crawl-delay: 10 User-agent: AspiegelBot Crawl-delay: 10 ############################ # Bloquer certains bots ############################ User-agent: Cốc Cốc Disallow: / User-agent: MauiBot Disallow: / User-agent: SiteExplorer Disallow: / User-agent: BLEXBot Disallow: /