http://tr.wikipedia.org/wiki/Robots.txt burdan bakıyorum da hocam yine aklım karıştı..
1.
User-agent: *
Disallow:
Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
2.
User-agent: *
Disallow: /
Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
benim robots.txt dosyasında yukarıdaki 2. seçenek mevcut.. yani bütün robotların site üzerindeki hiçbir dosyayı taramaması mı istenmiş ? yani bütün robotlar sitede indexleme yapmayacak mı?
kaydırma yapmışsın hocam
1-Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; " * " yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.
User-agent: *
Disallow:
2-Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
User-agent: *
Disallow: /
3-Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
yazanlar bunlar, ilk mesajdada belirttiğim gibi sizin kullandığınız robots.txt içeriğine göre
Alıntı
mesela siz kullandığınız şu satırlarla
Alıntı
User-agent: *
Disallow: /
belirlediğiniz Googlebot, Yandex, Browsershots örümcekleri dışındaki tüm örümceklere sayfalarımı indexleme demişsiniz...
son sorunuzun cevabıda evet
Alıntı
yani bütün robotlar sitede indexleme yapmayacak mı?
belirlediğiniz 3 bot dışında indexleme demişsiniz, ilk mesajda son kısımda yazdığım gibi düzenleyebilir o robots.txtyi kullanabilirsiniz, kolay gelsin..