Selamlar, bir süredir ChatGPT destekli olarak bir python bot oluşturmaya çalışıyorum ancak işin içinden bir türlü çıkamadım. Botu bir arkadaşımıza yazdırmak istiyordum ancak kısıtlı bütçemi aşacak olursa diye konu açıp iş alımı yapan arkadaşların vaktini almak istemedim bu yüzden müsaitliği olan arkadaşlara sormak istedim.

Botun özellikleri temelde şu şekilde olmalı;

- İlgili websitenin anasayfasında yer alan arama kutusuna bir arama metni yazıp aratmalı.
- Arama sonuçlarında kategorize edilmiş birçok içerik listelenecektir, içeriğin yanındaki örneğin 'read more' yazısına tıklayacak.
- Açılan sayfadaki içeriğin başlığını ve linkini kopyalayıp bir excel dosyasına kaydedecek.
- Sayfadaki 'download' butonuna tıklayacak.
- Sonraki açılan sayfadaki captcha bölümünü geçecek ve ilerleme butonuna tıklayacak (CapMonster API mevcut).
- Son sayfadaki download pdf yazısına tıklayarak PDF dosyasını indirecek.

Ek özellikler:

- Bot/Script istenilen zamanda durdurulup başlatılabilmelidir. Tekrar başlatıldığında kaldığı yerden başlamalıdır. Bazı arama sonuçları 50 sayfa olabilir, tüm sayfaları sırayla ilerleyerek devam etmelidir. Bunun için bir csv, excel, txt, vs. dosyasında kayıt tutarak ilgili dosya db gibi vazife görebilir, sorun değildir. Ancak örneğin en son 3. sayfadaki 5. içerikte kaldığını varsayalım, bot tekrar başlatıldığında 1. sayfa - 1. içerikten itibaren 3. sayfa 5. içeriğe kadar indirme kontrolü yapmamalı elbette.
- Klasöre indirilen PDF dosyasının adı, indirildiği içerik sayfasındaki içerik başlığı ile değiştirilmelidir.
- Her proxy'de belirli bir süre captcha geçilebiliyor ve daha sonra captcha IP engellediği için proxy entegrasyonu şarttır.
- Bot hızlı çalışmalıdır.

Bahsettiğim gibi CapMonster API anlaştığım kişiye test etmesi için sağlayabilirim, şu an elimde ufak bir bakiyeye sahip API var. Proxy'de sağlayabilirim ancak CapMonster nedense görüntülü captcha doğrulamalarda takılıyor, bu benim oluşturmaya çabaladığım botun hatası da olabilir emin değilim.

Teşekkürler.