kardeş haklısın allow karşılığı indexle demek evet, ancak / olduğunda googlebot ve yahoobot' bunu indexleme anlamında algılıyorlar bunu bizzat yaşadım örneğin robots.txt dosyasınıza allow: / tre koyarsanız sıkıntı yaşayacaksınız kaldıki konuyu açan arkadaşta ayni sıkıntıyı yaşamış bende yaşadım bu sıkıntıyı bu nedenle..

en iyi yöntem..

User-agent: *
Disallow:

Kodudur.. disallow: önüne "/" tre koyarsak gelme anlamında oluyor eğer koymazsak sorun kalmaz örneğin kendi sitelerimdede bunu kullanıyorum allow:/ komutunda sorun yaşadığım için bunu belirtmek istedim.