Robots.txt kullanımı

Merhabalar,

Sitemde sadece belirli dosyaların indexlenmesini istiyorum. Şu kod işimi görürmü acaba?

User-agent: *
Allow: /index
Allow: /contact
Allow: /about
Disallow: /

Ayrıca sitede sef link kullanmaktayım. Allow belirtirken /index diyemi belirtmeliyim yoksa /index.php diyemi?

robots dosyasında indexlenmesini istediğiniz sayfaları yazmanıza gerek,
arama motorları sizin robots'da berlirtmediğiniz içeriği otomatik indeksler zaten.

robots dosyasında genelde indexlenmesini istemediğimiz içeriği yazıyoruz.

Indexlenmesini istemedigim onlarca sayfayi yazmak mi mantikli yoksa indexlenmesini istedigim 3 sayfayi yazmakmi mantikli? Oneriniz icin tesekkurler yinede.

Indexlenmesini istemediğiniz sayfa sayısının, indexlemesini istediğinizden daha fazla olduğunu söylemediğiniz için öyle yazdım !

ki çoğunlukla indexlemesini istemediğimiz sayfa hep daha azdır.
eğer ki hangisin fazla olduğunu söyleseydiniz, ben de yazmazdım elbette.

Burada bir çelişki yok mu?

User-agent: *
Allow: /index
Allow: /contact
Allow: /about

Üstte bunları indexle ama;
Disallow: /

Tüm siteyi indexleme demiyor mu?

Bunlar haric hicbirseyi indexleme demek oluyor.

@NetBlogi İzin verilecek listesi hazırlayıp daha sonrada bu şekilde bir robots.txt hazırlayıp robotlar için izin verdiğiniz sayfalar dışındaki yerlere erişimi engelleyebilirsiniz.