Program Yazdırılacaktır ( Google Scraper Tool )

28-03-2014, 04:05:00

Öncelikle merhabalar;
Yazdırmak istediğim programın amacı google.com'a girip verdiğim keywords'leri 1-100 sayfa arası gezip sonuçların url'lerini txt şeklinde kaydetmesi.

Piyasada bu tür program bulunmaktadır. Fakat bizim istediğimiz şekilde çalışmamaktadır.

Programda Olmasını İsteklerim :

1-100 sayfa arası gezip sonuçları vermesi.
Bekleme süresinin ayarlanması.
Sonuç sayfası örnek veriyorum 1-25 arasında programın bunu algılayıp boşa zaman kaybetmemesi.
İşlem sonunda duplicate olan url'leri silmesi.
Url'nin başına http:// sonuna / koy (url ayıklama)
Multi threading seçeneği olması.
Keywords kısmına dilediğimiz kadar kelime yazma olanağı.
Google aşırı sorgu banı sayfasını atlaması ( Aşağıdaki yazıyı okuyunuz )
CAPTCHA ve hidemyass apilerinin entegre edilebilmesi ( bunlar hakkında bilgi verebilirim.)
Stabil çalışması.

Google.com üzerinde aşırı sorgulama yapıldığında ip'yi banlamaktadır ve captcha kodu sormaktadır. Biz buna karşın hidemyass vpn ve decaptcha apilerini entegre etmek istiyoruz. Google banladığında hidemyass'da ya ip değiştirecek yada decaptcha servisini kullanarak güvenlik kodunu girecek.

Piyasada bu tür programlar bulunmaktadır ancak hepsi proxy destekli, tam kavrayabilmeniz için size bir kaç örnek sunayım çalışma mantığını anlamanız açısından:

http://goo.gl/ckB6Gc
http://goo.gl/ZyO1ni
http://goo.gl/s3rnav

http://www.youtube.com/watch?v=PzMb1QEzBe0

PM'den ulaşabilirsiniz.
Tekliflerinizi bekliyorum.

İyi Çalışmalar

28-03-2014, 04:22:25

#2