Arkadaşlar merhabalar...

Google'daki spider botların mantığı ile web sitelerinden bazı verileri almak istiyoruz. Amacımız makale, video, resim vb. çekmek değil.

Bu anlamda kullanabileceğimiz en mantıklı ve en işlevsel fonksiyon hangisidir? Tabi ki burada hız da çok önemli..

Görüşleriniz için şimdiden teşekkürler..