Ne kadar etkili veya kalıcı bilmiyorum lakin bazı kodlarla robots.txt ve htaccess e söz konusu sitelerin botlarını engellemeye yönelik kodlar koyuyorlar. Şayet denildiği gibi engelliyorsa artık bu analiz işinin de pek bir anlamı yok.

Çoğu webmaster artık bunu yapıyor. Bence bilinmedik bir analiz tools bulmakta fayda var..

Örnekte olduğu gibi ; https://www.r10.net/google-optimizasy...im-lutfen.html