eğer sitende google botlarının girmesini istemediğin klasör veya sayfa varsa robot.txt kullanırsın onun dışında robot.txt olmadığı zaman google botları senin siteni ziyaret etmeyecek diye birşey yok yada robot.txt olan sitelere bildiğim kadarıyla robotlar daha fazla gelmiyor. önemli olan sitemapini yapman . ben bi dezavantaj olacağını düşünmüyorum tabi başka fikirlerde olabilir...