Aynen katılıyorum. Gereksiz yerleri robots.txt ile engelle. Örneğin ben kendi sitemde ki sitem forum sitesi, üye profilleri, üye listesi gibi gereksiz yerlerin indexlenmesini hatta forumda yetersiz ve kalitesiz içerik barındıran kategorileri örnekse forum oyunları robots.txt ile engelliyorum. Zaten yapılması gerekende bu. Oraların sana bir faydası olmadığı gibi zararı bile olur.