In breve
La diagnosi deve distinguere le istruzioni ricevute dal crawler dal contenuto che una persona vede nel browser. Conserva una copia delle regole e verifica gli effetti sulle pagine coinvolte.
- Classificare gli URL secondo la loro funzione.
- Confrontare robots.txt, metadati e intestazioni della risposta.
- Verificare le modifiche senza aprire contenuti riservati.
Decidere che cosa deve accadere a ogni pagina
Prepara un elenco breve: homepage, servizi, contatti, una guida recente e gli indirizzi che hanno generato dubbi. Per ciascuno annota chi dovrebbe visitarlo e come dovrebbe raggiungerlo. Una pagina commerciale, una conferma di invio e un documento per un cliente hanno esigenze differenti; trattarli tutti con la stessa impostazione rende difficile capire gli effetti di una modifica.
Aggiungi il referente che può confermare la decisione editoriale. Il tecnico può verificare una direttiva, ma non può indovinare se un vecchio listino debba restare pubblico. Riunire queste scelte prima dell’intervento evita correzioni contraddittorie fra responsabile dei contenuti, agenzia e fornitore dell’hosting.
Se il problema riguarda soltanto la presenza su Google, parti anche dalla diagnosi della mancata visibilità. Un URL assente dai risultati non dimostra, da solo, che esista un blocco.
Distinguere scansione, indice e protezione
La documentazione Google descrive robots.txt come controllo della scansione (si apre in una nuova scheda): può indicare ai crawler quali percorsi non recuperare, ma non è un sistema affidabile per impedire che un URL compaia nei risultati. Il comando noindex riguarda invece l’inclusione nell’indice e deve poter essere letto dal motore.
| Esigenza | Controllo da valutare | Verifica da richiedere |
|---|---|---|
| Limitare il recupero di percorsi | Regole robots.txt applicabili | Quali URL e crawler sono coinvolti? |
| Escludere una pagina pubblica dai risultati | Direttiva noindex | Il motore può recuperarla e leggerla? |
| Proteggere informazioni private | Autenticazione e autorizzazioni | Un visitatore non autorizzato può accedere? |
La tabella serve a formulare la richiesta, non a scegliere automaticamente una configurazione. Le restrizioni di sicurezza devono essere progettate per l’accesso delle persone, indipendentemente dal comportamento dei motori.
Raccogliere le istruzioni effettivamente pubblicate
Chiedi una verifica dell’URL completo e della risposta ricevuta: versione con o senza www, eventuali reindirizzamenti e destinazione finale. Raccogli il robots.txt pertinente, i metadati della pagina e le intestazioni HTTP. In alcuni siti impostazioni del CMS, plugin e server contribuiscono alla risposta: guardare un solo pannello può lasciare fuori una parte del problema.
La guida Google a noindex (si apre in una nuova scheda) indica due modalità di pubblicazione: meta tag nella pagina HTML e intestazione X-Robots-Tag. Un noindex inserito nel file robots.txt non è una modalità supportata da Google. Se il crawler non può recuperare la pagina, non può leggerne la direttiva.
Conserva data, URL e riscontro osservato. Una schermata delle impostazioni è utile, ma dovrebbe essere accompagnata dal controllo della pagina pubblica: ciò che è configurato e ciò che viene effettivamente restituito possono non coincidere.
Cercare le cause dopo una pubblicazione o un restyling
Un controllo utile parte dalle modifiche recenti. È stato trasferito un sito di prova? È cambiato un plugin? Sono state importate impostazioni da un altro dominio? Chiedi quali esclusioni erano intenzionali durante lo sviluppo e chi doveva rivederle al momento della pubblicazione. Evita di attribuire subito il problema all’ultima persona che ha lavorato sul sito: occorre ricostruire la sequenza.
Esempio ipotetico: cinque pagine di servizi ricevono lo stesso noindex, mentre le guide restano indicizzabili. Il primo confronto riguarda il modello condiviso dai servizi e le sue impostazioni. Modificare una pagina alla volta potrebbe nascondere temporaneamente una causa comune e lasciare il problema sui nuovi contenuti.
Se il cambiamento segue un rifacimento, confronta gli URL con il piano di migrazione e controllo del restyling. Una destinazione diversa richiede di esaminare anche la nuova pagina.
Correggere con un perimetro preciso
Prepara una scheda d’intervento: situazione iniziale, comportamento atteso, impostazione da modificare, responsabile e controllo successivo. Salva la configurazione precedente con una data riconoscibile. Per una regola che riguarda molti URL, prova anche alcune pagine che devono mantenere la loro esclusione: verificare solo quelle da aprire non basta a valutare l’effetto complessivo.
Non trasformare una richiesta generica come “sbloccare Google” in una cancellazione di tutte le restrizioni. Il sito potrebbe includere copie di sviluppo, materiali per clienti o percorsi tecnici. Se una protezione è stata usata per lo scopo sbagliato, occorre sostituirla con quella appropriata, concordando prima il comportamento desiderato.
Quando sono coinvolti documenti riservati già visibili, segui un percorso separato di protezione del documento e gestione della rimozione. La sola modifica editoriale di un URL non risolve una disponibilità non autorizzata.
Verificare il nuovo stato e documentare l’attesa
Dopo l’intervento ripeti gli stessi controlli sugli stessi URL. Conferma prima che la risposta attuale sia quella prevista, poi consulta gli strumenti del motore per capire quando la modifica è stata rilevata. Una verifica dal vivo e un’informazione storica possono riferirsi a momenti diversi: annota entrambe le date prima di considerarle in contrasto.
Organizza il rapporto in tre righe separate: configurazione corretta, nuova scansione osservata, presenza nei risultati verificata. Correggere un blocco rende possibile un passaggio successivo, senza stabilire quando avverrà o quale posizione otterrà la pagina. Evita nuove modifiche quotidiane se non emergono evidenze diverse.
Chi consegna il lavoro dovrebbe lasciare l’elenco delle eccezioni intenzionali e il motivo di ciascuna. Sarà più semplice mantenerle quando arriveranno nuovi servizi o cambierà il referente, senza riaprire ogni volta la stessa diagnosi.
Domande frequenti
Disallow e noindex sono intercambiabili?
No. Il primo limita il recupero secondo le regole applicabili; noindex chiede l’esclusione dall’indice. Per leggere noindex il motore deve poter accedere alla risposta della pagina.
Una pagina esclusa dai risultati è riservata?
No. Se è pubblicamente accessibile, una persona con il collegamento può aprirla. La riservatezza richiede controlli di accesso appropriati.
Tolto un blocco, il sito tornerà subito su Google?
Non è garantito. Verifica prima la risposta attuale, poi la nuova scansione e la presenza nell’indice. Pertinenza e posizionamento richiedono una valutazione distinta.
Fonti e approfondimenti
Riferimenti ufficiali per verificare le indicazioni e applicarle al proprio sito.