Önemli değil hocam son yazdığım linkleri mutlaka inceleyin ama aklınızdaki tüm soruların cevapları orada
sizede hayırlı günler
http://tr.wikipedia.org/wiki/Robots.txt burdan bakıyorum da hocam yine aklım karıştı..
1.
User-agent: *
Disallow:
Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
2.
User-agent: *
Disallow: /
Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
benim robots.txt dosyasında yukarıdaki 2. seçenek mevcut.. yani bütün robotların site üzerindeki hiçbir dosyayı taramaması mı istenmiş ? yani bütün robotlar sitede indexleme yapmayacak mı?