In breve
Confronta traffico e risorse nello stesso intervallo, verifica l’identità dei bot e individua le pagine più costose. Valuta cache e limiti mirati prima di adottare blocchi estesi. Ricerca, training e consultazioni richieste dagli utenti hanno finalità e controlli diversi, da verificare nella documentazione di ogni fornitore.
- Molte richieste non dimostrano da sole la causa del rallentamento.
- Il nome dichiarato da un bot non ne certifica l’identità.
- Ricerca, training e consultazione su richiesta non sono lo stesso accesso.
- Ogni regola va collaudata sui percorsi dei clienti e dei servizi interessati.
Collegare gli accessi al rallentamento effettivo
Chiedi all’hosting un intervallo preciso: quando il sito risponde lentamente, quali risorse raggiungono i limiti e quali operazioni sono attive? Confronta richieste, tempi di risposta, errori, CPU e memoria disponibili. Se il problema riguarda la banda, annota anche quantità e tipo dei file trasferiti.
Raccogli il calendario di importazioni, backup e campagne. La coincidenza tra un bot e un picco non basta a stabilire la causa. In un esempio ipotetico, il crawler richiede il catalogo durante un’importazione notturna: entrambi possono contribuire e serve capire quale operazione tiene occupato il database.
Se il sito è lento anche senza questi accessi, affianca la guida sulla risposta lenta del server. Conserva dati precedenti a ogni modifica per confrontare l’esito.
Verificare chi invia le richieste e da dove vengono osservate
Il nome nello user agent può essere imitato. Prima di autorizzare o bloccare un soggetto, fai confrontare le richieste con i metodi di identificazione e gli intervalli pubblicati dal fornitore. Una prova eseguita cambiando il nome del browser dimostra una regola di risposta, non l’identità di un crawler reale.
Chiarisci anche la copertura dei registri: CDN, firewall e server di origine possono osservare passaggi diversi. Una risposta fornita dalla cache esterna può non richiedere il lavoro dell’applicazione. Non attribuire automaticamente al server tutte le richieste contate nel pannello della CDN.
Assegna alle righe una classificazione leggibile: identità verificata, dichiarata ma non verificata oppure sconosciuta. Mantieni questa distinzione nel rapporto e usa dati aggregati sufficienti alla diagnosi, senza allegare indiscriminatamente informazioni dei clienti.
Separare bot di ricerca, training e richieste degli utenti
La documentazione OpenAI distingue OAI-SearchBot, destinato alla ricerca, da GPTBot, associato al training. ChatGPT-User riguarda determinate azioni avviate dagli utenti e non è il crawler che decide l’inclusione nella ricerca. Le impostazioni non vanno trattate come un unico interruttore per “ChatGPT”.
Anthropic distingue Claude-SearchBot, ClaudeBot e Claude-User, rispettivamente per ricerca, potenziale training e consultazione richiesta dagli utenti. Prepara una tabella interna con agente, scopo, scelta aziendale e regola applicata. La possibilità di essere consultati non costituisce una garanzia di citazione.
Per i controlli sulla leggibilità dei contenuti consulta la guida all’accesso al sito di ChatGPT e Claude. Qui la decisione deve includere anche l’impatto misurato sull’infrastruttura.
Individuare le richieste che fanno lavorare di più il sito
Raggruppa gli accessi per percorso e funzione: articoli, immagini, documenti, risultati di ricerca, filtri e pagine generate al momento. Chiedi quali arrivano al server applicativo e quali sono servite senza ricalcolare il contenuto. Il numero totale può nascondere poche richieste particolarmente onerose.
| Risorsa | Controllo utile |
|---|---|
| PDF e immagini grandi | Byte trasferiti e distribuzione dei file |
| Ricerca e filtri | Tempi del database e combinazioni ripetute |
| Pagine pubbliche | Cache disponibile e richieste all’origine |
| URL inesistenti | Costo della risposta e frequenza dei tentativi |
Strumenti come Cloudflare AI Crawl Control espongono richieste, trasferimento dati e risposte per crawler. Sono osservazioni del servizio: per attribuire il consumo di CPU servono anche dati del server.
Ridurre il lavoro ripetuto prima di aumentare le risorse
Valuta con il tecnico se le pagine pubbliche possono essere servite da una cache correttamente configurata e aggiornata. Una modifica deve conservare prezzi, disponibilità e contenuti attuali. Carrelli, account e risposte personali richiedono regole dedicate: una cache condivisa applicata indiscriminatamente può mostrare informazioni sbagliate.
Controlla anche ricerche o filtri che generano molte combinazioni equivalenti. Ridurre il lavoro inutile dell’applicazione può aiutare tutti i visitatori, indipendentemente dal soggetto che invia le richieste. Se un file molto pesante viene scaricato spesso, verifica compressione appropriata, versione distribuita e modalità di consegna.
Richiedi una prova circoscritta e un piano per annullare la modifica. Il confronto prima e dopo deve misurare sia il consumo sia il corretto funzionamento del sito, evitando che un semplice calo del traffico sembri un miglioramento tecnico.
Scegliere controlli compatibili con ciascun servizio
Robots.txt esprime istruzioni ai bot che lo rispettano; non è un sistema di autenticazione. OpenAI precisa che, per le azioni avviate dagli utenti attraverso ChatGPT-User, tali regole possono non applicarsi. Anthropic dichiara invece il rispetto delle direttive da parte dei propri bot e il supporto dell’estensione non standard Crawl-delay. Non estendere queste dichiarazioni a ogni crawler.
Se servono limiti infrastrutturali, definisci soggetti, percorsi e condizioni con chi gestisce il sito. Il valore adatto dipende da capacità e traffico: copiare una soglia da un altro progetto può bloccare clienti o integrazioni. Conserva un modo per riconoscere e correggere gli accessi legittimi coinvolti.
Non lasciare errori generalizzati come soluzione permanente a un’emergenza. La guida all’errore 429 aiuta a verificare chi viene limitato e quale componente risponde.
Collaudare i percorsi e valutare il costo nel tempo
Dopo l’intervento ripeti navigazione, ricerca, modulo e percorso di acquisto o prenotazione pertinente. Verifica anche le consultazioni automatiche che l’azienda ha scelto di consentire. Un calo degli accessi non basta: potrebbe derivare da un blocco più ampio del previsto.
Confronta intervalli simili e separa richieste consentite, rifiutate, errori e lavoro effettivo del server. Annota nuovi componenti o campagne che cambiano il carico. Se aumenti le risorse, conserva il motivo e il risultato misurato, così potrai valutare se il costo aggiuntivo risolve il problema.
Tieni distinto questo rapporto dalla misurazione di visite e contatti provenienti dalle AI. Una richiesta del crawler non è una visita commerciale; una citazione non dimostra che il consumo sostenuto abbia prodotto un cliente.
Domande frequenti
Bloccare GPTBot significa sparire dalla ricerca di ChatGPT?
OpenAI documenta controlli distinti per GPTBot e OAI-SearchBot. Occorre verificare le regole effettive, comprese quelle del firewall: un blocco applicato all’intero operatore può coinvolgere più agenti di quello previsto.
Crawl-delay rallenta qualsiasi bot AI?
No. È un’estensione non standard e il supporto dipende dal fornitore. Anthropic ne documenta l’uso; non va considerata una regola universale. Verifica nei log se il comportamento osservato corrisponde alla configurazione.
Devo cambiare hosting se aumentano gli accessi automatici?
Prima identifica il lavoro richiesto e la risorsa che raggiunge il limite. Cache, applicazione e controlli mirati possono cambiare il carico. Un aumento di capacità va valutato su dati e collaudi, non sul solo numero delle richieste.
Fonti e approfondimenti
Riferimenti ufficiali per verificare le indicazioni e applicarle al proprio sito.