Gelistiricilerin en buyuk sorunu olan "API'si olmayan siteden veri cekme" ve "Cloudflare engeline takilma" problemlerini kokten cozen yeni acik kaynak projem PhantomAPI'yi yayinladim.
Aylik binlerce dolar odediginiz enterprise scraping (veri kazima) cozumlerini tamamen kendi sunucunuzda, ucretsiz ve dogrudan bir REST API mantigiyla kullanabilmeniz icin gelistirdim.
One Cikan Ozellikler:
- Aninda REST API: Herhangi bir sitenin URL'sini ve istediginiz veriyi (ornek: "urunleri ve fiyatlari cek") gonderin, sistem size temiz bir JSON dondursun. Ozel parser yazmaya son.
- Kusursuz WAF Bypass: Cloudflare Turnstile, Datadome ve Akamai gibi engelleri entegre stealth tarayici motoruyla otomatik olarak asar.
- AI DOM Analizi: Karmasik HTML yapilariyla ugrasmazsiniz, GPT-4o destegiyle sayfayi analiz edip veriyi dogrudan JSON olarak ayiklar.
- Kurumsal Mimari: FastAPI, asenkron islem, rate limit ve otomatik proxy rotasyonu (proxies.txt) ile binlerce istegi sorunsuz karsilar.
Projeyi inceleyip GitHub uzerinden repoyu yildizlayarak (star) destek olursaniz cok sevinirim. Kurulumla alakali veya gelistirme fikirleriniz varsa konu altindan belirtebilirsiniz. Iyi forumlar!
projeye 4 dev özellik eklenmiştir. PhantomAPI artık çok daha güçlü, stabil ve tam tamına sunucu dostu bir "hayalet" motora dönüştü:
- 🛡️ Gelişmiş Stealth Modu (Hardcore WAF Bypass): Cloudflare, Datadome gibi aşılması en zor WAF'ları delip geçmek için sisteme ekstrem Chrome flag'leri (güvenlik zafiyeti bırakmadan) ve derinlemesine spoofing özellikleri eklendi. .env üzerinden ADVANCED_STEALTH_MODE=true yaparak agresif hayalet modunu aktif edebilirsiniz.
- ⚡ Asenkron Mimari & Webhook Desteği: Ağır ve uzun süren sayfa işlemlerinde API'nin yanıt vermesini (timeout) beklemenize gerek kalmadı. İsteğinize opsiyonel olarak bir webhook_url eklerseniz, sistem anında 202 Accepted ve bir Görev ID'si döner. İşi arka planda halledip çıkan temiz JSON verisini anında Webhook adresinize POST eder.
- 🚦 Akıllı Kuyruk (Smart Queue) Sistemi: Sunucu maliyetlerini düşürmek ve RAM/CPU kaynaklarını korumak için Asyncio Semaphore altyapısı kuruldu. .env içindeki MAX_CONCURRENT_TASKS limiti sayesinde, sisteme aynı anda binlerce istek gelse bile sunucu kilitlenmez, işlemler akıllı bir kuyruğa alınır. Tamamen performans odaklı!
- 🐳 Docker ile Tek Tıkla Kurulum: Sürüm çakışmaları ve kurulum dertlerine son. Proje tamamen Dockerize edildi. Sunucunuzda sadece docker-compose up -d --build komutunu çalıştırarak tüm API altyapısını saniyeler içinde izole ve temiz bir şekilde ayağa kaldırabilirsiniz.
