Hocam teşekkür ederim. Sadece bu 2 satırı mı eklemem gerekiyor. Bunun dışındaki tüm botların ziyaretini engellemek istemiyorum.
Son halini attım robots txt dosyasını komple onunla aynı yap. Sitemap yazan yere kendi site sitemap adresini ekle işini görür