robots.txt dosyaları olacağını hiç düşünmemiştim. Eğer site haritaları da varsa BU HAYATTA YETERİNCE ŞEY GÖRDÜĞÜME karar verebilirim.

Not: Varmış :-)