Kendi siteme göre ayarladım paylaşımınız için teşekkürler
yararlı makale olmuş teşekkürler
Paylaşım için teşekkürler bir çok kişiye yararı olacaktır.
İşinize yaradıysa ne mutlu bana
Bende uzun süren uğraşlar sonucu böyle bir robots.txt düzenledim, google webmastertoolsa anca böyle beğendirebildim.
Buraya kod şeklinde ekledim ilk olarak fakat link olarak algıladığı için nofollow rel linki veriyor vbullettin. Bu yüzden siteme link vermek zorunda kaldım, umarım yanlış anlaşılmaz.