Selamlar shopify bir siteyi Screaming Frog ile taraıyorum ancak belirli bir taranan url sonrasında 429 fazla istek durum koduna düşğyorum. ip whitelist vs verildi ancak çözüm olmadı. user agent denendi ancak olmadı. Crawl delay vermek istemiyorum çünkü çok büyük bir site.

ekstra çözümü olanlar yazabilir mi?

semrush vs önermeyiniz screaming frog özelinde çözüm gerekmektedir.