robots.txt 'i kullanarak halledebilirsin internette biraz araştırma yaparsan kolaylıkla halledebilirsin.