Merhaba arkadaşlar;
Son zamanlarda Seekbot Crawler isimli bir bot sitemi sürekli ziyaret ediyor ve sadece bu botu engellemek istiyorum.
Şu an ki robots.txt dosyam şu şekilde.
User-agent: *
Allow: /
robots.txt dosyamı aşağıdaki şekilde mi düzenlemem gerekiyor.
User-agent: *
Allow: /
User-agent: Seekport Crawler
Disallow: /
Yardımcı olursanız çok sevinirim.
Robots.txt bot engelleme
6
●174
- 17-05-2021, 10:53:11User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteadrssi.com/sitemap_index.xml
User-agent: Seekport Crawler
Disallow: /
Bunu ekle robots txt dosyasına - 17-05-2021, 10:55:18Hocam teşekkür ederim. Sadece bu 2 satırı mı eklemem gerekiyor. Bunun dışındaki tüm botların ziyaretini engellemek istemiyorum.Tufan1903 adlı üyeden alıntı: mesajı görüntüle
- 17-05-2021, 10:56:15Son halini attım robots txt dosyasını komple onunla aynı yap. Sitemap yazan yere kendi site sitemap adresini ekle işini görürnanotech adlı üyeden alıntı: mesajı görüntüle
- 17-05-2021, 10:59:52Hocam benim wordpress değil. Şöyle yapsam hata alır mıyım=Tufan1903 adlı üyeden alıntı: mesajı görüntüle
User-agent: *
Sitemap: https://www.siteadrssi.com/sitemap_index.xml
User-agent: Seekport Crawler
Disallow: / - 17-05-2021, 11:07:19http://www.seekport.com/ https://www.sistrix.com/ Bir arama motoru ve Amazon partner analiz botu, engellemenizi tavsiye etmem.
User-agent: Seekport Crawler
Disallow: /
Engellemek istiyorsanız sadece bu komutu eklemeniz yeterlidir.