softlayer.com diye bir site var tam olarak bunu nasil engelleriz. habire botu geliyor

ne eklemek gerekiyor robots.txt'e yeni bir konu acmayayim dedim