google robot.txt ye en cok baglı ve sadık robottur. robot.txt dosyası sadece botların girmesini istemediginiz url ler icin kullanılır. baska ozel bi etkisi yoktur.
ancak google dısındakı pek cok bot, (msn yahoo vb ) haric bu txt dosyasını pekde ciddiye almaz!