Selamlar shopify bir siteyi Screaming Frog ile taraıyorum ancak belirli bir taranan url sonrasında 429 fazla istek durum koduna düşğyorum. ip whitelist vs verildi ancak çözüm olmadı. user agent denendi ancak olmadı. Crawl delay vermek istemiyorum çünkü çok büyük bir site.
ekstra çözümü olanlar yazabilir mi?
semrush vs önermeyiniz screaming frog özelinde çözüm gerekmektedir.
meslaktaşlarıma sorum var...
2
●94
- 14-05-2025, 16:15:38ChatGPT amca bunları önerdi:
✅ 1. Multiple Threads yerine Tek Thread ile Tarama Başlat, Sonra Artır
- Shopify, kısa sürede yapılan yüksek sayıda isteği fark edip IPyi geçici olarak sınırlar.
- Başlangıçta 1 thread ile taramaya başla, 2-3 dakika sonra thread sayısını manuel olarak artır.
- Screaming Frog > Configuration > System > Speed > Max Threads
- Örnek başlangıç: 1 thread, sonra 3-4'e çıkar.
✅ 2. User-Agent Sahtekârlığı (Cloaking değil)
Shopify, bazı user-agentlara özel muamele yapabilir. Şu agentları deneyebilirsin:
👇 Önerilen User-Agents:
text
KopyalaDüzenle
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
veya
text
KopyalaDüzenle
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
→ Screaming Frog > Configuration > User-Agent > Custom User Agent
✅ 3. DNS Lookupları devre dışı bırak
DNS sorguları da Shopify tarafında ekstra yük gibi algılanabilir. Bunu devre dışı bırak:- Configuration > Spider > Advanced
- Enable DNS Lookup → Kapalı olsun.
✅ 4. AJAX/JS Kaynaklarını Durdur
Shopify sayfalarında ekstra JSON/JS kaynakları da çok sayıda HTTP isteği yaratır. Onları tarama dışı bırak:- Configuration > Spider
- Crawl Linked Resources → Devre dışı bırak.
- Crawl JavaScript → Devre dışı bırak.
- Crawl CSS Files → Devre dışı bırak.
✅ 5. Crawl Depth ve URL Pattern Sınırlaması
Tüm siteyi değil, belirli sayfa gruplarını hedef al (örn: /collections, /products).- Configuration > Include / Exclude > belirli klasörleri seç
- Configuration > Spider > Limit Crawl Depth → 3 gibi sınırlayabilirsin.
✅ 6. Session Cookie Paylaşımı (Gelişmiş Teknik)
Eğer Shopify tarafında bir whitelist varsa ama işe yaramıyorsa, oturum bazlı koruma olabilir.- Tarayıcıda siteye giriş yap
- Geliştirici araçlarından session cookieyi al
- Screaming Frog > Configuration > HTTP Header > Cookie ekle
KopyalaDüzenle
Cookie: _shopify_y=xyz123; secure_customer_sig=abc456;
✅ 7. URL Listesi ile Tarama (List Mode)
Siteyi spider modunda değil, önceden toplanmış URL listesi ile tara. Bu, shopify tarafında daha az dikkat çeker.- Önce sitemap ile sayfa listesi çıkar.
- Screaming Frog > Mode > List
- URL listesini içeri aktar.
✅ 8. Cloudflare/CDN Aracılığıyla Rate-Limiting Varsa
Bazı Shopify siteleri Cloudflare ile ek koruma katmanı ekliyor. Eğer IP'n whitelistlenmiş olsa bile Cloudflare engelliyor olabilir. Çözüm:- Tarama yaparken VPN kullan veya residential IP üzerinden gönder.
- Veya site sahibinden Cloudflare WAF seviyesini düşürmesini istemeyi deneyin.
🧪 Bonus: Screaming Frog Log Ayarları ile Takip
- Configuration > System > Logging > Enable Debug
- Buradan hangi isteğin ne zaman 429 aldığını analiz ederek hangi pattern'in Shopify tarafında engellendiğini tespit edebilirsin.
- 14-05-2025, 16:16:51TeoriKod adlı üyeden alıntı: mesajı görüntüle
teşekkürler hocam buraya gelmeden önce sorduğum ilk kişilerden biridir gpt
