Beklentilerim :
- Scrapy, BeautifulSoup ve Selenium gibi Python kütüphaneleriyle web crawlerlar geliştirip, bunları güncelleyecek ve yöneteceksin.
- Çeşitli web sitelerinden ve API'lerden veri toplayıp, temizleyip, düzenleyeceksin.
- CAPTCHAlar, IP bloklamaları ve kullanıcı ajanı rotasyonları gibi anti-scraping önlemlerini aşmak için çözümler geliştireceksin.
- Geliştirdiğin crawler'ları hız, ölçeklenebilirlik ve güvenilirlik açısından optimize edeceksin.
- SQL ve NoSQL gibi veritabanlarıyla çalışarak verileri düzgün bir şekilde saklayacaksın.
- Scraper performansını düzenli kontrol edip, veri doğruluğunu sağlayarak sorunları çözeceksin.
- Veri bilimciler, mühendisler ve diğer ekip üyeleriyle iş birliği yapacaksın.
- HTTP, HTML, CSS, JavaScript ve tarayıcı otomasyonu konularına hakimiyet.
- PostgreSQL, MySQL, MongoDB veya Elasticsearch gibi veritabanları hakkında bilgi.
- Çoklu iş parçacığı (multithreading), asenkron programlama ve dağıtık crawling deneyimi.
- İyi iletişim ve takım çalışması becerileri.
- Bağımsız çalışabilme ve ekiple koordinasyon içinde görevleri yerine getirebilme.
- AWS, GCP, Azure gibi bulut servisleri deneyimi.
- Kafka, RabbitMQ veya Celery gibi görev yönetim araçlarıyla çalışma deneyimi.
- Makine öğrenimi veya NLP konularına aşinalık.