Googlebot svelato: limiti di byte, crawling e indicizzazione nel 2026
Google ha pubblicato un articolo tecnico dettagliato sul funzionamento interno di Googlebot, chiarendo come funziona l'infrastruttura centralizzata di crawling e quali limiti di dimensione si applicano al recupero dei contenuti. La rivelazione più importante riguarda il limite di 2MB per le pagine HTML, oltre il quale i contenuti non vengono né recuperati né indicizzati. Comprendere questi meccanismi è fondamentale per chiunque voglia ottimizzare la visibilità organica del proprio sito.
Punti chiave
- Googlebot non è un singolo programma autonomo, ma un client di una piattaforma di crawling centralizzata condivisa da decine di prodotti Google come Google Shopping e AdSense, ciascuno con il proprio nome di crawler.
- Il limite di recupero dei byte per Googlebot è fissato a 2MB per URL (intestazioni HTTP incluse), dopodiché il fetch si interrompe e i byte successivi vengono completamente ignorati senza eccezioni.
- Per i file PDF il limite è molto più alto, pari a 64MB, mentre per i crawler non configurati esplicitamente si applica un limite predefinito di 15MB indipendentemente dal tipo di contenuto.
- Il Web Rendering Service (WRS) riceve solo i byte effettivamente recuperati e processa JavaScript e CSS in modo stateless, azzerando local storage e session data tra una richiesta e l'altra, il che può influire sull'interpretazione degli elementi dinamici.
- Le risorse esterne referenziate nell'HTML (script, fogli di stile) vengono recuperate separatamente con un proprio contatore di byte indipendente e non incidono sul limite della pagina principale.
- L'ordine degli elementi nell'HTML è determinante: i tag critici come meta, title, canonical e dati strutturati devono essere posizionati il più in alto possibile per garantire che rientrino nei 2MB recuperati.
Analisi
Uno dei malintesi più diffusi sul crawling di Google riguarda la natura stessa di Googlebot. Per anni, il settore SEO ha immaginato un unico robot che scansiona sistematicamente il web. La realtà è che Googlebot è oggi semplicemente uno dei tanti client che accedono a una piattaforma di crawling centralizzata e scalabile. Questo significa che quando si analizzano i log del server e si vede Googlebot, si sta osservando specificamente l'attività legata a Google Search, mentre altri prodotti Google operano con crawler distinti che hanno configurazioni proprie.
Il limite di 2MB per le pagine HTML è il dato tecnico con le implicazioni pratiche più rilevanti per il SEO tecnico. Questo limite comprende anche le intestazioni HTTP della risposta, il che significa che il contenuto HTML effettivo disponibile per l'indicizzazione è leggermente inferiore. Google non rifiuta la pagina quando supera questa soglia, bensì interrompe semplicemente il fetch a quel punto e tratta i byte recuperati come se fossero l'intero documento. I contenuti che si trovano oltre questa soglia non esistono per Googlebot.
Le implicazioni per i siti moderni sono significative, soprattutto per quelli che fanno largo uso di JavaScript inline, CSS incorporato direttamente nell'HTML o immagini codificate in base64 inserite nel markup. Questi elementi possono gonfiare rapidamente le dimensioni dell'HTML e spingere i contenuti testuali rilevanti, i tag canonici o i dati strutturati oltre il limite dei 2MB. In uno scenario del genere, Googlebot non vedrà queste informazioni critiche e quindi non potrà indicizzarle correttamente.
Il Web Rendering Service aggiunge un ulteriore livello di complessità. Dopo il recupero dei byte, WRS esegue il codice JavaScript e CSS per comprendere lo stato finale della pagina, ma può elaborare unicamente il codice che Googlebot ha effettivamente scaricato. Se uno script fondamentale per il rendering dei contenuti si trova oltre il limite dei 2MB, WRS non sarà in grado di eseguirlo. Inoltre, il funzionamento stateless del WRS significa che le applicazioni che si basano su local storage o session storage per popolare i contenuti potrebbero non essere interpretate correttamente dai sistemi di Google.
Sul fronte del crawl budget, Google specifica che i suoi crawler monitorano i tempi di risposta del server e riducono automaticamente la frequenza di crawling se il server mostra difficoltà nel servire i byte richiesti. Questo collegamento diretto tra performance del server e frequenza di scansione conferma che l'ottimizzazione tecnica non riguarda solo l'esperienza utente, ma ha un impatto diretto sulla capacità di Google di scoprire e indicizzare i contenuti del sito.
Cosa fare
- Esternalizzare tutto il codice CSS e JavaScript in file separati invece di incorporarli direttamente nell'HTML, così da ridurre il peso del documento principale e liberare spazio nei 2MB disponibili per i contenuti testuali rilevanti.
- Posizionare sempre in cima al documento HTML tutti gli elementi critici per il SEO: tag title, meta description, tag canonical, hreflang e markup di dati strutturati, per garantire che siano recuperati prima che venga raggiunto il limite di byte.
- Evitare l'uso di immagini codificate in formato base64 direttamente nell'HTML, poiché aumentano drasticamente il peso del documento. Usare invece tag img con URL esterni che vengono gestiti separatamente dal crawler.
- Monitorare regolarmente i log del server per verificare le dimensioni delle risposte inviate a Googlebot e identificare le pagine che si avvicinano o superano la soglia dei 2MB, intervenendo con ottimizzazioni mirate.
- Verificare che le applicazioni web dinamiche basate su JavaScript non dipendano da local storage o session storage per il caricamento dei contenuti principali, poiché il WRS opera in modalità stateless e non conserva questi dati tra una richiesta e l'altra.
- Tenere sotto controllo i tempi di risposta del server, poiché un server lento porta Googlebot a ridurre la frequenza di crawling in modo automatico, con conseguenze dirette sull'aggiornamento delle pagine nell'indice di Google.
I siti con pagine HTML molto pesanti, ricche di codice inline, immagini in base64 o blocchi CSS/JavaScript incorporati rischiano di perdere visibilità perché i contenuti critici e i dati strutturati posizionati oltre i 2MB vengono completamente ignorati da Googlebot. Ottimizzare la struttura e il peso delle pagine diventa quindi una priorità tecnica diretta per il posizionamento nei risultati di ricerca.