Merhaba arkadaşlar;
Son zamanlarda Seekbot Crawler isimli bir bot sitemi sürekli ziyaret ediyor ve sadece bu botu engellemek istiyorum.
Şu an ki robots.txt dosyam şu şekilde.
User-agent: *
Allow: /
robots.txt dosyamı aşağıdaki şekilde mi düzenlemem gerekiyor.
User-agent: *
Allow: /
User-agent: Seekport Crawler
Disallow: /
Yardımcı olursanız çok sevinirim.