# ------------------------------------------------------------------ # 1. FRENO PER BING/MICROSOFT (PRIORITÀ ALTA PER ERRORE 429) # Questo risolve il traffico eccessivo dai bot Microsoft visto nel log. # ------------------------------------------------------------------ User-agent: bingbot User-agent: msnbot User-agent: BingPreview Crawl-delay: 10 # ------------------------------------------------------------------ # 2. BLOCCA BOT AGGRESSIVI E INUTILI (RISPARMIO RISORSE) # Bot presenti nel log che non portano traffico ma caricano il server. # ------------------------------------------------------------------ User-agent: SemrushBot User-agent: SemrushBot-SA User-agent: AhrefsBot User-agent: MJ12bot User-agent: DotBot User-agent: ChatGPT-User User-agent: GPTBot Disallow: / # ------------------------------------------------------------------ # 3. REGOLE PER GOOGLE (MANTENIAMO ACCESSO COMPLETO) # Integrazione delle regole Yoast esistenti per Google News. # ------------------------------------------------------------------ User-agent: Googlebot Allow: / User-agent: Googlebot-News Allow: / # ------------------------------------------------------------------ # 4. REGOLE GENERALI (User-agent: *) # Integrazione della tua config attuale + protezione loop e feed # ------------------------------------------------------------------ User-agent: * # La tua configurazione originale per la struttura /wp/ Disallow: /wp/wp-admin/ Allow: /wp/wp-admin/admin-ajax.php # Protezioni aggiuntive standard per WordPress Disallow: /wp-login.php Disallow: /xmlrpc.php # Evita che i bot indicizzino i risultati di ricerca interna (carico inutile) Disallow: /?s= Disallow: /search/ # Blocca la scansione dei feed RSS da parte dei bot generici # (Google accede comunque grazie alla regola specifica sopra) Disallow: /feed/ Disallow: /rss/ Disallow: /comments/feed/ # ------------------------------------------------------------------ # SITEMAPS (DAL TUO FILE ATTUALE) # ------------------------------------------------------------------ Sitemap: https://www.m3motorcube.com/sitemap_index.xml Sitemap: https://www.m3motorcube.com/post-sitemap9.xml