Google e Bing visitano davvero le pagine importanti? Come usare i log del sito

Partire da una domanda su pagine riconoscibili

Scegli un gruppo ristretto: nuove schede prodotto, pagine servizio aggiornate o una sezione che ha perso visibilità. Per ogni URL annota data di pubblicazione o modifica, destinazione attesa e collegamenti da cui dovrebbe essere raggiungibile. Aggiungi una pagina simile che non presenta il problema, così da poter confrontare comportamenti nello stesso periodo.

Google distingue problemi di scansione e indicizzazione (si apre in una nuova scheda): una pagina richiesta può comunque non entrare nell’indice. Se il contenuto risulta già scansionato, non attribuire automaticamente l’esclusione alla frequenza delle visite del crawler. La guida alla pagina scansionata ma non indicizzata aiuta a proseguire la diagnosi su un problema differente.

Chiedere un campione con copertura dichiarata

Domanda al fornitore quali registri sono disponibili e per quanto tempo vengono conservati. Servono almeno data e ora con fuso, host, percorso richiesto, metodo, risposta HTTP e informazioni necessarie a riconoscere il client. Tempi di risposta e dimensioni possono aggiungere contesto, ma il formato cambia fra servizi: fatti spiegare il significato dei campi invece di confrontare colonne con nomi simili.

Chiarisci dove è registrata la richiesta. Una rete di distribuzione o un firewall possono rispondere prima che il traffico raggiunga il server di origine. L’assenza di una riga nel solo registro del server non prova quindi che il motore non abbia tentato l’accesso. Chiedi se esistono campionamenti, periodi mancanti o esclusioni; conserva questa informazione insieme al report.

Verificare Googlebot e Bingbot

Il nome dichiarato nel campo User-Agent può essere imitato. Google pubblica metodi di verifica delle proprie richieste (si apre in una nuova scheda), tramite controlli DNS o confronto con gli intervalli IP pubblicati per le diverse categorie. La verifica deve corrispondere al tipo di crawler osservato: non tutti gli accessi associati a Google svolgono la stessa funzione.

Bing indica come verificare Bingbot (si apre in una nuova scheda) con il controllo DNS inverso e successivo controllo diretto, oppure con gli strumenti e gli elenchi ufficiali aggiornati. Il tecnico dovrebbe riportare il metodo usato e distinguere richieste verificate da quelle soltanto dichiarate. Non costruire regole permanenti di accesso partendo da un elenco di indirizzi copiato una volta.

Leggere le risposte senza appiattire gli URL

Raggruppa i dati per motore verificato, pagina e giorno, mantenendo visibili host e parametri quando cambiano il contenuto. Controlla se le richieste arrivano alla versione canonica o attraversano reindirizzamenti, se compaiono errori e se i tempi peggiorano in momenti specifici. Evita di cancellare tutti i parametri prima dell’analisi: potresti unire pagine che il sistema tratta diversamente.

Un riepilogo utile mostra per ciascun URL richieste osservate, ultima richiesta e tipi di risposta, insieme ai limiti del campione. Il codice restituito va interpretato con il contenuto: una risposta di successo può accompagnare una pagina vuota o una schermata di verifica. All’opposto, un reindirizzamento previsto non è automaticamente un guasto. Apri alcuni casi rappresentativi e documenta ciò che riceve il crawler.

Confrontare i registri con gli strumenti dei motori

Affianca ai log il controllo dell’URL in Search Console e in Bing Webmaster Tools (si apre in una nuova scheda). Distingui l’informazione conservata dal motore dal test della pagina attuale. Controlla le date: una correzione di oggi non cambia ciò che una richiesta registrata ieri aveva ricevuto.

Ricostruisci poi le condizioni di accesso: collegamenti interni, sitemap, robots.txt, eventuali protezioni e risorse necessarie al contenuto. Una regola di sicurezza può avere effetti diversi sul browser del titolare e sul crawler. Se il documento viene raggiunto ma i testi mancano, approfondisci i contenuti caricati con JavaScript invece di limitarti a richiedere nuove scansioni.

Collegare un problema a una correzione verificabile

Esempio ipotetico: le nuove schede di un catalogo risultano presenti nella sitemap, ma alcune richieste verificate ricevono una pagina di controllo del firewall. Il titolare non vede il problema dal proprio computer. L’analisi mette in relazione gli orari, gli URL e la regola interessata; il fornitore prepara una correzione circoscritta, mantenendo la protezione delle aree riservate.

Il passo successivo consiste nel verificare una risposta corretta e leggibile, poi controllare le richieste successive nei registri. Questo dimostra la rimozione dell’ostacolo osservato, non garantisce la scelta di indicizzazione. Se il problema riguarda invece migliaia di combinazioni di filtri, la priorità può essere la struttura degli indirizzi: usa la guida a filtri e SEO del catalogo per definire quali destinazioni hanno utilità reale.

Consegnare un report che aiuti a decidere

Chiudi l’analisi con poche evidenze verificabili: domanda iniziale, copertura dei dati, pagine coinvolte, risposta osservata, ipotesi confermata e intervento proposto. Indica chi deve agire e quale controllo dimostrerà la correzione. Conserva un confronto successivo su una finestra coerente, annotando pubblicazioni, aggiornamenti e cambiamenti dell’infrastruttura che possono alterare i risultati.

Condividi soltanto i campi necessari tramite un canale adatto; i registri possono includere indirizzi IP, parametri e altre informazioni da gestire con attenzione. Non pubblicare esportazioni complete in una pagina di assistenza. Per un sito piccolo con un singolo avviso chiaro, possono bastare controlli più semplici: l’analisi dei log è utile quando risolve un’incertezza concreta, non come documento da produrre obbligatoriamente.

Domande frequenti

Più visite di Googlebot significano più posizioni?

No. La frequenza delle richieste non misura qualità, indicizzazione o risultati commerciali. Leggila rispetto alle pagine e al problema che stai verificando.

Se un URL manca dai log, Google non lo ha visitato?

Puoi concluderlo soltanto per il perimetro realmente registrato. Prima verifica intervallo, campionamento, infrastruttura e possibili risposte fornite prima del server di origine.