Merhabalar plesk panel üzerinden yurtdışı iplerine site erişimini kapattık. Fakat google botlarıda doğal olarak engellendi. Güncel google bot ip adresleri yaklaşık 400 tane. Güvenlik kısmında izin verilen ip lere bunları ekleyecem ama tek tek eklemek baya zaman alır. O bakımdan bunun kısa yolu var mıdır? Htaccsess den eklediğim zaman olmadı sanırım sunucu bazlı direk engellendiği için. Cloudfare de bu opsiyon var ama onu kullanmadan bir çözüm var mı?
Googlebotların range'i var ama değişir de farketmezseniz yine sorun olur, Bingbot Yandex ve diğer crawlerlar(Whatsapp'taki link önizlemesi de) kullanılamaz kalır.
O yüzden Cloudflare veya farklı bir WAF üzerinden doğru bir kuralla sadece bu yararlı botları aktif etmek mantıklı olacaktır; eğer Googlebot yeter deniyorsa 127 tane subnet/tekil ip var Plesk firewall'den veya API üzerinden veya betik oluşturulup eklenebilirler.
https://developers.google.com/search...googlebot.json