• 17-05-2021, 10:50:03
    #1
    Merhaba arkadaşlar;

    Son zamanlarda Seekbot Crawler isimli bir bot sitemi sürekli ziyaret ediyor ve sadece bu botu engellemek istiyorum.

    Şu an ki robots.txt dosyam şu şekilde.

    User-agent: *
    Allow: /

    robots.txt dosyamı aşağıdaki şekilde mi düzenlemem gerekiyor.

    User-agent: *
    Allow: /

    User-agent: Seekport Crawler
    Disallow: /

    Yardımcı olursanız çok sevinirim.
  • 17-05-2021, 10:53:11
    #2
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://www.siteadrssi.com/sitemap_index.xml

    User-agent: Seekport Crawler
    Disallow: /

    Bunu ekle robots txt dosyasına
  • 17-05-2021, 10:55:18
    #3
    Tufan1903 adlı üyeden alıntı: mesajı görüntüle
    User-agent: Seekport Crawler
    Disallow: /
    Bunu ekle robots txt dosyasına
    Hocam teşekkür ederim. Sadece bu 2 satırı mı eklemem gerekiyor. Bunun dışındaki tüm botların ziyaretini engellemek istemiyorum.
  • 17-05-2021, 10:56:15
    #4
    nanotech adlı üyeden alıntı: mesajı görüntüle
    Hocam teşekkür ederim. Sadece bu 2 satırı mı eklemem gerekiyor. Bunun dışındaki tüm botların ziyaretini engellemek istemiyorum.
    Son halini attım robots txt dosyasını komple onunla aynı yap. Sitemap yazan yere kendi site sitemap adresini ekle işini görür
  • 17-05-2021, 10:59:52
    #5
    Tufan1903 adlı üyeden alıntı: mesajı görüntüle
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://www.siteadrssi.com/sitemap_index.xml

    User-agent: Seekport Crawler
    Disallow: /

    Bunu ekle robots txt dosyasına
    Hocam benim wordpress değil. Şöyle yapsam hata alır mıyım=

    User-agent: *

    Sitemap: https://www.siteadrssi.com/sitemap_index.xml

    User-agent: Seekport Crawler
    Disallow: /
  • 17-05-2021, 11:07:19
    #6
    http://www.seekport.com/ https://www.sistrix.com/ Bir arama motoru ve Amazon partner analiz botu, engellemenizi tavsiye etmem.

    User-agent: Seekport Crawler
    Disallow: /

    Engellemek istiyorsanız sadece bu komutu eklemeniz yeterlidir.
  • 17-05-2021, 11:19:43
    #7
    nanotech adlı üyeden alıntı: mesajı görüntüle
    Hocam benim wordpress değil. Şöyle yapsam hata alır mıyım=

    User-agent: *

    Sitemap: https://www.siteadrssi.com/sitemap_index.xml

    User-agent: Seekport Crawler
    Disallow: /
    Almazsın