beyler biraz araştırdım ve baktım google de ve r10 da ancak aklıma takılan bi bokta oldu!

şimdi arama motorlarının görmesini istediğimiz klasörleri eklerken
Disallow: /cgi-bin/
bu tarz klasörleri eklemek sorun olmaz mı mesela dizinde templates , lang, cache, includes , admin vs klasörler ve php dosyalar var ben bunların hangilerine girmekerine izin vereyim siteyi en iyi nasıl indezletirim onun için neler yamalıyım burada bi taslak paylaşırsanız sevinirim!

İyi çalışmalar!