Il file robots.txt, nella radice del sito, indica ai programmi che scansionano il web quali percorsi possono visitare. Accanto ai crawler dei motori di ricerca tradizionali, oggi esistono crawler gestiti da aziende che sviluppano sistemi di intelligenza artificiale. Alcuni raccolgono contenuti per addestrare i modelli, altri recuperano pagine in tempo reale per rispondere alle domande degli utenti.
I principali nomi da conoscere
- GPTBot: il crawler di OpenAI.
- Google-Extended: un identificatore con cui Google permette di indicare se i contenuti possono essere usati per migliorare i suoi modelli Gemini; non è un crawler separato e non riguarda l’indicizzazione nella ricerca.
- ClaudeBot: il crawler di Anthropic.
- PerplexityBot: il crawler del motore di risposta Perplexity.
- CCBot: il crawler di Common Crawl, archivio usato anche per addestrare modelli.
L’elenco cambia nel tempo e ogni fornitore pubblica la propria documentazione: prima di scrivere regole conviene consultarla.
Cosa succede se li blocchi
Bloccare un crawler di addestramento riduce la possibilità che i tuoi testi vengano usati per addestrare quel modello in futuro. Bloccare un crawler usato per recuperare pagine in tempo reale può invece ridurre la possibilità che il tuo sito venga consultato e citato nelle risposte. Per un’azienda che vuole farsi trovare, il secondo effetto è spesso indesiderato.
Va anche ricordato che il robots.txt è un’indicazione, non una protezione: i crawler corretti la rispettano, quelli scorretti no.
Un editore che vive di contenuti esclusivi può avere buone ragioni per limitare l’uso dei propri articoli. Un’impresa che pubblica pagine servizio e guide per attirare clienti ha di solito interesse a essere letta il più possibile.
Gli errori più frequenti
- Regole copiate da internet che bloccano anche i motori di ricerca tradizionali.
- Blocchi inseriti da plugin di sicurezza senza che il proprietario lo sappia.
- Robots.txt diverso tra versione con e senza www.
- Confusione tra robots.txt e meta tag noindex: il primo controlla la scansione, il secondo l’indicizzazione.
Come scegliere
Per la maggior parte delle PMI la scelta più sensata è consentire la scansione delle pagine pubbliche, proteggere solo le aree riservate e valutare caso per caso i crawler di puro addestramento. Qualunque decisione tu prenda, documentala e verifica che il file faccia esattamente ciò che vuoi.
Come verificare il file
Apri l’indirizzo del tuo sito seguito da /robots.txt e leggi le regole presenti. In Search Console puoi controllare come Google interpreta il file. Se usi WordPress, ricorda che alcuni plugin generano il robots.txt in modo dinamico: le modifiche vanno fatte nel punto giusto.
Domande frequenti
Bloccare Google-Extended mi toglie dai risultati di Google?
No. Secondo la documentazione di Google, questo identificatore non influisce sull’inclusione nella ricerca. Riguarda l’uso dei contenuti per i modelli Gemini.
Posso bloccare l’AI solo su alcune pagine?
Sì, il robots.txt permette regole per percorso. Ad esempio puoi consentire le pagine servizio e limitare un’area documentale.
Il file llms.txt sostituisce il robots.txt?
No, hanno funzioni diverse. Ne parliamo nell’articolo su llms.txt.
La configurazione di sitemap XML e robots.txt è inclusa in CMXD WebStart, mentre il controllo dell’indicizzazione tecnica fa parte di CMXD SearchBoost.
