robots.txt ile ilgili dosya ve dizilerin taranmamasını sağlayabilirsiniz.