Il tuo sito non appare sui motori di ricerca? Spesso quando il sito non viene trovato sul web, si pensa subito che la problematica sia dovuta al mancato posizionamento, ma in realtà potrebbe riguardare l’indicizzazione. Si tratta di una differenza importante, che molti ancora confondono: un sito posizionato in modo errato è comunque indicizzato, quindi cercandolo sul motore di ricerca è possibile trovarlo. Un sito che non viene indicizzato, invece, è totalmente assente dall’archivio dei motori di ricerca. In questo articolo esamineremo quali sono alcuni degli errori di indicizzazione più comuni, perché si verificano e cosa è possibile fare per risolverli. Ma prima, assicuriamoci di essere sulla stessa linea e di capire pienamente il gergo dell’indicizzazione.
Cos’è l’indicizzazione e differenza con il posizionamento
L’attività di un motore di ricerca si divide in tre macro fasi: SCANSIONE (crawling): il motore si avvale di uno spider, cioè un software automatizzato che scansiona tutte le pagine dei siti presenti nel web. INDICIZZAZIONE (indexing): le pagine scansionate dallo spider vengono valutate e aggiunte all’indice del motore di ricerca. POSIZIONAMENTO (ranking): con l’ausilio dell’algoritmo, il motore di ricerca esegue il rendering della pagina e, analizzando sia il contenuto testuale, che il layout visivo, decide in che posizione far apparire il sito tra i risultati di ricerca. Quando un utente pone una query, chiede al motore di ricerca di restituire come risposta le pagine più pertinenti inserite nell’indice. Siccome spesso ci sono milioni di pagine pertinenti, l’algoritmo di ranking fa del suo meglio per ordinare la posizione delle pagine in modo che l’utente veda per primi i risultati più rilevanti.
Questo è un video di Google che spiega il processo della ricerca nel maggiore dettaglio.
Come verificare se il sito è indicizzato
La prima da cosa da fare è capire se esiste realmente un problema tecnico nell’indicizzazione del sito. Come fare? Basta disattivare SafeSearch e digitare site:nomedominio.tld (naturalmente, cambia nomedominio.tld con il tuo dominio effettivo). Questo ti mostrerà tutte le pagine del tuo dominio che Google ha indicizzato.
Il sito non è presente nell’indice. Se non trovi risultati significa che il sito non è presente nell’indice. Da quanto tempo hai pubblicato il sito? Il motore di ricerca potrebbe impiegare un po' di tempo per indicizzare le pagine! Come consiglia Google Support: prima di supporre che ci sia un problema attendi almeno una settimana dall'invio di una Sitemap o dalla richiesta di indicizzazione. Se il problema non è il fattore tempo e sei sicuro di aver implementato tutte le best practices per aiutare il motore di ricerca a trovare le tue pagine (utilizzo di URL statiche e parlanti, sistema di navigazione completo, strategia di interlinking tra le pagine principali del sito, implementazione di una sitemap.xml e invio di richiesta di indicizzazione per la home page del sito) potrebbe essere utile diagnosticare eventuali problemi di indicizzazione.
Il secondo passo, quindi, può essere quello di indagare il rapporto sulla Copertura della Google Search Console, al fine di ottenere informazioni più accurate sull’andamento del sito. Ogni pagina può avere uno dei seguenti valori dello stato: Valide. Le pagine sono state indicizzate. Valide con avvisi. Le pagine sono state indicizzate, ma presentano un problema di cui l'utente dovrebbe essere a conoscenza. Ad esempio, le pagine bloccate nel file robots.txt sono indicate come avviso perché Google non è certo che il blocco sia intenzionale. Escluse. Le pagine non sono state indicizzate intenzionalmente. Errore. Le pagine non sono state indicizzate perché qualcosa l’ha impedito. Queste pagine sono quelle su cui dovremmo concentrare subito la nostra attenzione.
Principali cause di mancata indicizzazione
Tra gli errori più comuni: Errore 404 (Pagina non trovata). Analizza le pagine escluse dall’indice usando lo strumento Controllo URL per cercare di capire quale può essere il problema. Tra le cause più frequenti c’è il blocco della pagina tramite il file robots.txt o un’istruzione noindex. Il sito è presente nell’indice: se trovi un numero di risultati che non corrisponde al numero reale di pagine presenti nel sito è necessario capire quale tipo di problema compromette l’indicizzazione del sito.
Il primo passo è valutare l’index ratio: Index ratio = pagine indicizzate / pagine totali del sito web. Per calcolare questo parametro: estrapolare il numero approssimativo di pagine indicizzate mediante il comando site o sommando le pagine valide + valide con avvisi nella sezione “Copertura” della Google Search Console; estrapolare il numero di pagine indicizzabili, mediante una scansione con Screaming Frog. Il rapporto perfetto è 100%, ma valori tra 90% e 110% indicano un buon rapporto; valori inferiori al 90% potrebbero indicare una problematica. Valori superiori al 110% possono indicare una grave problematica. Controlla che non vi siano contenuti duplicati o parametri non gestiti.
Come individuare e risolvere i problemi di indicizzazione
- La spunta su WordPress: spesso, quando si crea un sito web con WordPress, non si presta la massima attenzione a determinati aspetti. Il primo motivo è una semplice spunta che scoraggia l’indicizzazione sui motori di ricerca. Anche a distanza di giorni dalla messa online del sito, questa spunta potrebbe far sparire tutti i risultati dalla SERP. Accedi all’area di amministrazione di WordPress e vai su Impostazioni > Lettura. Scorri verso il basso e individua l'opzione Visibilità dei motori di ricerca. Togli il flag dalla voce “Scoraggia i motori di ricerca dall’indicizzazione di questo sito” e sottoponi la home page al Controllo URL della Search Console.
- .htaccess: L’.htaccess è un file di testo editabile che risiede nella cartella WWW o public_html e permette di definire le “regole” specifiche che il sito dovrà rispettare. Può contenere configurazioni in grado di redigere il traffico verso altri domini, impostare la durata della cache, proteggere l’accesso a una cartella, impedire l’indicizzazione e molto altro. Modificare l’.htaccess è un’azione molto delicata, che va effettuata solo dopo diverse prove in ambiente di test.
- Robots.txt non configurato correttamente: Controllare come sia stato inserito il file robots.txt. La sintassi base è semplice: si specifica il nome di un robot e un’azione. Se c’è una riga come User-agent: * Disallow: / significa scoraggiare i motori di ricerca dalla scansione di tutto il sito. Lasciare libero il bot di ricerca di poter scansionare le pagine che devono essere indicizzate.
- Presenza di Meta Tags che impediscono l’indicizzazione: il meta tag robots può bloccare una pagina dai motori di ricerca. Un esempio è inserita nella sezione head.
- Duplicazione delle risorse: contenuti duplicati possono portare all’indicizzazione di una sola versione o a problemi di canonicalizzazione. Se non correttamente gestiti i parametri, possono generare duplicati o escludere URL.
- Javascript non caricato correttamente: JavaScript può ritardare il rendering e influire sull’indicizzazione. Controllare che JavaScript non sia bloccato nel file Robots.txt e che i contenuti rilevanti siano presenti nel codice sorgente, non solo in JS.
- Azioni manuali o problemi di sicurezza: limitazioni, penalità manuali o problemi di sicurezza possono impedire l’indicizzazione di nuove pagine. In Search Console è possibile verificare e intervenire.
Strategie pratiche per migliorare l’indicizzazione
La qualità dei contenuti è essenziale: contenuti utili, originali e ben strutturati aiutano l’indicizzazione. Un sito ben strutturato con collegamenti interni coerenti e URL parlanti facilita l’esplorazione da parte dei crawler. Inoltre, una sitemap.xml correttamente configurata e inviata a Google Search Console può accelerare l’indicizzazione delle nuove pagine.
Altre pratiche utili includono l’uso corretto di canonicalizzazione per evitare contenuti duplicati e la gestione accurata dei parametri nelle Google Search Console. Per evitare problemi di indicizzazione su più domini, utilizzare reindirizzamenti 301 per consolidare contenuti su un dominio principale.
Infine, l’indicizzazione è un passaggio tecnico che precede il posizionamento: se una pagina non è indicizzata, non può essere posizionata. Verificate sempre lo stato di indicizzazione delle vostre pagine e intervenite sui problemi tecnici o editoriali che emergono.
IndexNow: un nuovo protocollo SEO per l'indicizzazione!
Metadati
Tag descrizione e parole chiave verranno inseriti al termine dell’articolo per l’indicizzazione e la reperibilità sui motori di ricerca.