btnaslan adlı üyeden alıntı: mesajı görüntüle
Merhabalar,

Sitemde bir eklenti kullandım ancak eklenti çok boş linkler oluşturduğu için kaldırıp linksiz başka bir eklenti kurdum. Ancak eklenti linkleri eklediği için ve google sitemiz hızlı indexlediği için hepsi index almış. Robots.txt ile bunları kolay şekilde nasıl engelleyebilirim.

Örnek:
url.com/detay/araba/mavi.html

bu örnek url de olan araba ve mavi olanları nasıl tek seferde engellerim. Çünkü bu tarz yaklaşık 2800 tane link var.
Selamlar bir dizini disallow yaptığında ona bağlı tüm uzantılar da disallow olur

o nedenle url.com/detay/

Bu kısmı disallow yapman yeterli