ChatGPT amca bunları önerdi:



✅ 1. Multiple Threads yerine Tek Thread ile Tarama Başlat, Sonra Artır

  • Shopify, kısa sürede yapılan yüksek sayıda isteği fark edip IP’yi geçici olarak sınırlar.
  • Başlangıçta 1 thread ile taramaya başla, 2-3 dakika sonra thread sayısını manuel olarak artır.
    • Screaming Frog > Configuration > System > Speed > Max Threads
    • Örnek başlangıç: 1 thread, sonra 3-4'e çıkar.

✅ 2. User-Agent Sahtekârlığı (Cloaking değil)


Shopify, bazı user-agent’lara özel muamele yapabilir. Şu agentları deneyebilirsin:

👇 Önerilen User-Agents:


text
KopyalaDüzenle
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
veya
text
KopyalaDüzenle
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
→ Screaming Frog > Configuration > User-Agent > Custom User Agent

✅ 3. DNS Lookup’ları devre dışı bırak


DNS sorguları da Shopify tarafında ekstra yük gibi algılanabilir. Bunu devre dışı bırak:
  • Configuration > Spider > Advanced
  • “Enable DNS Lookup” → Kapalı olsun.

✅ 4. AJAX/JS Kaynaklarını Durdur


Shopify sayfalarında ekstra JSON/JS kaynakları da çok sayıda HTTP isteği yaratır. Onları tarama dışı bırak:
  • Configuration > Spider
    • “Crawl Linked Resources” → Devre dışı bırak.
    • “Crawl JavaScript” → Devre dışı bırak.
    • “Crawl CSS Files” → Devre dışı bırak.

✅ 5. Crawl Depth ve URL Pattern Sınırlaması


Tüm siteyi değil, belirli sayfa gruplarını hedef al (örn: /collections, /products).
  • Configuration > Include / Exclude > belirli klasörleri seç
  • Configuration > Spider > Limit Crawl Depth → 3 gibi sınırlayabilirsin.

✅ 6. Session Cookie Paylaşımı (Gelişmiş Teknik)


Eğer Shopify tarafında bir whitelist varsa ama işe yaramıyorsa, oturum bazlı koruma olabilir.
  • Tarayıcıda siteye giriş yap
  • Geliştirici araçlarından session cookie’yi al
  • Screaming Frog > Configuration > HTTP Header > Cookie ekle
text
KopyalaDüzenle
Cookie: _shopify_y=xyz123; secure_customer_sig=abc456;

✅ 7. URL Listesi ile Tarama (List Mode)


Siteyi spider modunda değil, önceden toplanmış URL listesi ile tara. Bu, shopify tarafında daha az dikkat çeker.
  1. Önce sitemap ile sayfa listesi çıkar.
  2. Screaming Frog > Mode > List
  3. URL listesini içeri aktar.

✅ 8. Cloudflare/CDN Aracılığıyla Rate-Limiting Varsa


Bazı Shopify siteleri Cloudflare ile ek koruma katmanı ekliyor. Eğer IP'n whitelist’lenmiş olsa bile Cloudflare engelliyor olabilir. Çözüm:
  • Tarama yaparken VPN kullan veya residential IP üzerinden gönder.
  • Veya site sahibinden Cloudflare WAF seviyesini düşürmesini istemeyi deneyin.

🧪 Bonus: Screaming Frog Log Ayarları ile Takip

  • Configuration > System > Logging > Enable Debug
  • Buradan hangi isteğin ne zaman 429 aldığını analiz ederek hangi pattern'in Shopify tarafında engellendiğini tespit edebilirsin.