evet evet beyler adam, sitedeki bulunamayan gereksiz vs sayfaları robots.txt ile engellemiş.Ben direk tam url ile verilip engellendiğini ilk defa görüyorum.

Normal * böle bir karakter var ...Senin yaptığın gibi 100 satır girilmiyor.Ayrıca sen nerden gördün direk url verilip disallow edildiğini örnek bir kaynak verirmisin.

Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?*