Robots.txt yi kullanarak sitenizde istemediğiniz içeriklere örümcek (robot) ulaşımını durdurabilirsiniz.