faydası olur robots dosyası ile ilgili burda bir çok döküman verildi incelemeni tavsiye ederim.Ayrıca arşiv linklerini google botun görebilmesi için en kolay erişimi sağlaman her zaman faydalı olur