buradan robots.txt nin önemi ortaya çıkıyor size tavsiyem kullanın o dosyayı