Web sitemdeki bazı kısımlarda bazı kodları değiştirmek için belirli sayfaları chatgpt nin taraması gerekiyor ancak sayfanın link yapısını chatgpt ye ilettiğimde siteye erişiminin engellendiğini belirtip duruyor. Robots. txt dosyasından direkt chatgpt ye
User-agent: GPTBot
Allow: /

şeklinde izin verdim. Cloudflare ın waf ayarlarından da chatgpt ye şu şekilde direkt izin verdim

(http.user_agent contains "GPTBot")

ama yinede erişim sağlayamıyor, ne yapmam gerekiyor?