Google Sonuçlarını Nasıl Çekebiliriz ?

Merhaba,
Bir proje için google sonuçlarını çekmem lazım ama bu aşamayı aşamadım.
Google serp api ücreti çok pahalı geldi. Sonuçları google gemini ekranından sorguladım doğru sonuçlar geliyor.
Google gemini api ile denedim ama doğru sonuç alamadım. Geçmiş tarihli url leri veriyor 404 ile karşılaşıyoruz.
Duckduckgo dan veri çekelim dedim ama her 10 istekten 5 tanesi mantıklı sonuç üretiyor.

Google scraping konusunda bu aşamaları geçebilen biri var mı acaba ?

serp api kullanman gerekli hocam malesef

selenium ile yaparsın.

Selenium ile deniyoruz ama çok fazla drop alıyoruz.

python ile mi? Sunucuda çalışacak bir kod mu, masaüstü bot için falan mı?

Playwright ise yarayacaktir

Playwright da olur ama google affetmiyor, tek başına kullanınca botu algılayıp basıyor engeli. undetected-chromedriver veya playwright'ın stealth modüllerini bi dene, driver izini gizlemen lazım. Bir de request aralarına rastgele time.sleep atmazsan yine patlar. Çok seri çekeceksen residential proxy şart, yoksa ip ban yersin kurtuluşu yok.

en iyi yontem brightdata.com hic kutuphaneyue bile gerek yok

Bunu bi deneyeceğim teşekkürler