300 k bulunamadı url sini robots.txt ile indexlemeye kapatsan?
Hepsi ayrı ayrı sayfalar nasıl kapatabilirim ki?
--R10.NET; Flood Engellendi -->-> Yeni yazılan 24-07-2013 mesaj 00:13:27 -->-> Daha önceki 23-07-2013 mesaj 23:03:44 --
Arkadaşlar şöyle bir şey yaptım acaba iyi mi yapmışım.
Önceki scriptimde linkler site.com/1/asdasd.html site.com/2/addsa.html şeklinde idi ben de robots.txt ye disallow site.com/1'den 500000'e kadar sayı/ yaptım.10 mb lik robots.txt oluştu iyi mi yapmışım sizce?