genelde web crawler mantığıyla çalışıyorlar ama useragent kullanmıyorlar.

cf ile managed challenge yapabilirsiniz.