robots.txt dosyama aşağıdaki kodu eklemiştim ancak hala botları siteme girip indexleyebiliyor başka nasıl engelleyebilirim bunları User-agent: ia_archiver Disallow: / User-agent: archive.org_bot Disallow: / User-agent: ia_archiver-web.archive.org Disallow: /

karamazov adlı üyeden alıntı: mesajı görüntüle robots.txt dosyama aşağıdaki kodu eklemiştim ancak hala botları siteme girip indexleyebiliyor başka nasıl engelleyebilirim bunları User-agent: ia_archiver Disallow: / User-agent: archive.org_bot Disallow: / User-agent: ia_archiver-web.archive.org Disallow: / Cloudflare'de firewall kısmına gel hocam, yeni kural aç ve useragent contains parametresiyle bu useragentleri ekleyip deploy et hocam.

archive org botları engelleme

03-05-2021, 13:11:19

#1

karamazov
robots.txt dosyama aşağıdaki kodu eklemiştim ancak hala botları siteme girip indexleyebiliyor başka nasıl engelleyebilirim bunları
```
User-agent: ia_archiver Disallow: /
User-agent: archive.org_bot Disallow: /
User-agent: ia_archiver-web.archive.org Disallow: /
```
03-05-2021, 13:13:20

#2

yalinyalniz
karamazov adlı üyeden alıntı: mesajı görüntüle
robots.txt dosyama aşağıdaki kodu eklemiştim ancak hala botları siteme girip indexleyebiliyor başka nasıl engelleyebilirim bunları

User-agent: ia_archiver Disallow: / User-agent: archive.org_bot Disallow: / User-agent: ia_archiver-web.archive.org Disallow: /
Cloudflare'de firewall kısmına gel hocam, yeni kural aç ve useragent contains parametresiyle bu useragentleri ekleyip deploy et hocam.