En az 1 yıllık çalışma gerek. Ama en zor nokta Türkçe siteleri gezebilecek bir spider yazabilmekte.

Bir siteye girdiğinde hangi linkin türkçe siteye gittiğini anlayabilmek NLP meselesidir. Biraz zordur.