SEO tecnica: la sequenza del crawler, e gli errori che ne derivano
robots.txt controlla la scansione, non l'indicizzazione: una pagina bloccata lì può comparire nei risultati e non può esserne esclusa. La sequenza del crawler e gli errori che ne derivano.