kereviz adlı üyeden alıntı: mesajı görüntüle
robot.txt olan sitelere bildiğim kadarıyla robotlar daha fazla gelmiyor

arkadaşın bu üsteki lafı doğrumu az geliyor yani örümcekler ?
indexlenmesini istemediğin klasörlere gelmez sadece diğer bölümlere etkisi olacağını sanmıyorum