ChatGPT e Claude possono leggere il tuo sito? Come verificare crawler e blocchi

Definire il problema prima di cambiare le regole

Raccogli l’URL interessato e descrivi cosa hai osservato: un collegamento non aperto, una risposta con dati superati oppure l’assenza del sito fra le fonti. Conserva data, piattaforma, domanda e citazioni mostrate. Questi casi non hanno necessariamente la stessa causa e non si risolvono tutti modificando robots.txt.

Prepara un piccolo campione con homepage, pagina servizio e una guida pubblica. Aggiungi una pagina che deve rimanere riservata soltanto come controllo della protezione, senza inserirne il contenuto nelle richieste pubbliche. Il referente tecnico deve sapere quale risposta è attesa per ciascun indirizzo.

Se il problema riguarda informazioni aziendali sbagliate, consulta anche la guida alle inesattezze nelle risposte AI. Una sede vecchia può derivare da fonti esterne anche quando il sito attuale è accessibile.

Distinguere gli agenti e le loro finalità

La documentazione ufficiale OpenAI sui crawler (si apre in una nuova scheda) distingue OAI-SearchBot per la ricerca e GPTBot per contenuti che possono essere usati nell’addestramento. ChatGPT-User riguarda alcune azioni avviate dalle persone: non è il crawler automatico che decide l’idoneità alla ricerca, e per queste richieste le regole robots.txt possono non applicarsi.

La documentazione Anthropic sui bot (si apre in una nuova scheda) distingue Claude-SearchBot, Claude-User e ClaudeBot. Le finalità sono rispettivamente ricerca, accesso su richiesta degli utenti e raccolta di contenuti potenzialmente destinati al training.

La tabella orienta la decisione, ma non rende identiche le regole dei fornitori. Prima di applicare un blocco o un’autorizzazione, controlla la documentazione del singolo agente e annota la scelta dell’azienda.

Controllare robots.txt e protezioni del sito

Fai confrontare le regole del sito con quelle di hosting, CDN e firewall. Un percorso autorizzato nel robots.txt può incontrare comunque una richiesta di autenticazione, una verifica interattiva o una risposta di errore. Il controllo deve osservare il risultato restituito all’accesso interessato, non limitarsi a leggere una configurazione nel pannello.

OpenAI raccomanda di permettere OAI-SearchBot e le richieste provenienti dai propri intervalli IP pubblicati per sostenere l’accesso alla ricerca. Anthropic dichiara che i propri bot rispettano robots.txt e non aggirano i CAPTCHA. Un’impostazione di sicurezza molto generale merita quindi una verifica, senza disattivare le protezioni dell’intero sito.

Chiedi al tecnico di identificare il punto del blocco e proporre un’eccezione circoscritta, se compatibile con la decisione presa. Un semplice nome di user agent copiato in una prova non basta a dimostrare che una richiesta provenga davvero dal fornitore dichiarato.

Verificare quale contenuto viene effettivamente restituito

Una risposta riuscita non garantisce che il testo importante sia presente. Confronta titolo, servizio, contatti e collegamenti della pagina campione con il contenuto recuperabile. Se il visitatore deve compiere azioni prima di vedere le informazioni principali, documenta quali passaggi sono necessari e chiedi come vengono gestiti dai sistemi che consultano il sito.

Esempio ipotetico: una pagina presenta un servizio soltanto dopo una selezione nell’interfaccia. Nel browser del titolare appare completa perché una scelta è già memorizzata. La verifica tecnica parte da una visita nuova e controlla il contenuto disponibile inizialmente, senza assumere che ogni servizio esterno esegua le stesse interazioni.

La guida su contenuti JavaScript e lettura delle pagine approfondisce un problema collegato per Google. Per ChatGPT e Claude occorre mantenere prove e conclusioni riferite alla piattaforma esaminata.

Leggere i registri insieme alle prove manuali

Quando disponibili, i registri tecnici possono mostrare richieste, URL e risposte del server. Chiedi una sintesi limitata alle pagine campione e al periodo della verifica. Non serve riversare tutto il traffico in un rapporto: l’obiettivo è capire se un accesso riconoscibile ha incontrato un errore e se il problema si ripete.

Affianca un registro delle prove manuali con la domanda esatta e le fonti mostrate. Tieni distinti accesso del bot, collegamento citato, visita umana e richiesta commerciale. Una riga nel log prova un evento tecnico; non dice quante persone abbiano visto il nome dell’azienda né quali decisioni abbiano preso.

Per la misurazione dei risultati usa il percorso dedicato a visite e contatti provenienti dai sistemi AI. Mantenere separati questi livelli evita di attribuire un aumento commerciale a una sola modifica delle autorizzazioni.

Correggere e consegnare una configurazione comprensibile

Raccogli in una scheda il problema riscontrato, la regola coinvolta, l’intervento previsto e il controllo successivo. Salva la configurazione iniziale. Dopo la modifica ripeti le prove sulle stesse pagine e verifica anche che le aree escluse restino protette. La consegna deve spiegare cosa è cambiato e quale risultato è stato osservato.

Se l’accesso funziona ma il sito non viene citato, chiudi la diagnosi tecnica con questo limite esplicito. Passa poi a pertinenza, informazioni originali, chiarezza e fonti, seguendo la guida generale alla visibilità nella ricerca AI. Non presentare nuove regole come un comando capace di imporre una citazione.

Prevedi una revisione quando cambia hosting, firewall o piattaforma. Le scelte di accesso devono restare leggibili per chi mantiene il sito: motivo, responsabile e documentazione consultata sono più utili di una lunga lista di nomi copiata senza contesto.

Domande frequenti

Consentire la ricerca significa consentire anche il training?

Le piattaforme documentano agenti e controlli con finalità distinte. La configurazione va valutata per ciascun fornitore, senza trattare tutti gli accessi AI come una sola scelta.

Se ChatGPT apre un link, il sito comparirà nelle sue ricerche?

No. Consultare un indirizzo e selezionarlo come fonte in una ricerca sono eventi differenti. La prova di apertura non garantisce visibilità futura.

Basta aggiungere un file speciale per essere citati?

Non sostituisce accesso, contenuti utili e valutazione delle fonti. Una proposta tecnica dovrebbe indicare quale piattaforma la supporta e quale risultato verificabile permette di controllare.