SEO'lu siteden veri çekme

Merhaba arkadaşlar. ID'ye göre çekim yapabilen botlar yazabiliyorum. Ama aklıma takılan, SEO'lu olan sitelerden nasıl veri çekebiliriz? Bunu bota uygulamak istiyorum yani tek sayfa olarak değil. Yardımınız için teşekkürler şimdiden.

çoğu seo sisteminde yazıların bir önemi yoktur önemi olanlar tabiki vardır ama genei şu şekildedir
sayfa-basligi-118.html
urun-adi-75.html
vs..

sen oraya
rasgele-deger-118.html
rasgele-deger-75.html yazsanda aynı sayfayı açacaktır bu yüzden sorun olmaz

eğer böyle değilse linklerin bulunduğu sayfalardan linkleri çekip çekilen linklerdende içeriği çekeceksin sanırsam başka çıkar yol yok.

__________________
Tüm Blogspotlar Çeken Muhteşem Bot Sadece 20 TL Mükemmel Firma Scripti 30 TL Selemon.org

Orası öyle tabii. O tür sef linklerde olay sondaki ya da baştaki ID'de ama mesela http://www.siteadi.com/sayfa-basligi/ şeklindeyse ne yapıcaz?

2 mysql tablosu yapacaksın.
birinde çekilmesi gereken linkleri toplayacaksın.
diğerinde çekilmiş işi bitmiş linklerin md5 ini kaydedeceksin.

2 php dosyası yazacaksın.
php dosyalarından biri çekilecek linkleri alıp çekilmesi gereken linklere ekleyecek.
diğer php dosyası çekilemesi gerekenler tablosundaki linkleri teker teker çağırıp içeriği alacak

çekilmesi gereken linkleri eklemeden çekilmiş linkler arasında olup olmadığını kontrol edeceksin.
çekilen her linki de çekilmesi gerekenler tablosundan silip çekilmiş linkler tablosuna ekleyeceksin.

Böylece bir çektiğin linki bir daha çekmezsin.