Websocket packet sniffing ve web scraping alanında uzman birini arıyorum

Merhaba,

Websocket kullanan bir web sitesi üzerinden veri alımı gerçekleştireceğiz. Bilgilerin alınacağı sitede Cloudflare Browser Integrity Check aktif. Bu yüzden bu iş için 2 alternatif sunacağız.

Birinic alternatif:
node.js ile browser integrity check’i aşmak. eğer browser integrity check’i aşabiliyor ve websocket bile ağlantı sağlayabiliyorsanız işi tamamlanmış sayacağız. ANCAK, bu sistemin proxy ile de çalışabilmesi gerekmekte.

İkinci alternatif:
Herhangi bir dil kullanılarak websocket üzerinden istediğimiz veriler alınacak ve HTTP üzerinden güncel veriler sağlanıyor olacak. Adımlar şu şeklide;

1. initial veriler bir JSON üzerinden alınacak ve içeriklerin ID’leri anahtar olarak kullanılacak şekilde önbelleğe alınacak
2. her ID için ayrı ayrı socket bağlantısı kurularak gelen tüm güncellemeler alınan JSON üzerinde de güncellenecek
3. JSON belli aralıklarla kontrol edilecek ve kaldırılan veriler bizim tarafımızdaki JSON’dan da kaldırılacak
4. bu JSON’a bir URL veya port üzerinden erişilebilecek
5. sistem proxy ile çalışabilecek

Bu işi yapabilirim diyen varsa detayları konuşmak üzere DM gönderebilir, yapabileceğinden en ufak kuşkusu olan kimseyle her iki tarafın da vaktini boşa harcamak istemem.


İş yoğunluğumdan dolayı DM'lere 1-2 saatlik gecikmelerle cevap verebilirim, şimdiden belirteyim sorun olmasın.

İşlemin detaylarını PM olarak iletir misiniz?