id ile çalışmayan wordpress gibi seo lu html sayfaları kastediyorum
sitem.com/haber/haberadi.html
gibi bunlarda id olmadığı için takıldım kaldım
temel mantık şöyle ;
bot önce ilgili kategoriye girer : sitem.com/haber
sonra o kategorideki başlık linklerini alır,
( sayfalama varsa ona göre de ayarlanmalı )
sonra bu aldığı başlık linklerine gider
ordan gerekli içeriği alır.
kademeli ilerleyecek bot.