PHP Bot (Site Gezer)

Merhaba arkadaşlar benim sorunum şu.
Normal şekilde bir bot yazabiliyorum.
Bunların id'li sıralı olanları bir döngü vs.vs lerle çoklu şekilde de çekebiliyorum.

Fakat sorun Seo'lu sitelerde kaynaklanıyor.
Yani
www.site.com/istanbul/boruhane
www.site.com/istanbul/bakirkoy

bunların nasıl alıcam bot ile baya bi araştırdım fakat yapamadım. BU şekilde zor sanırsam.

Yardımlarınızı bekliyorum

Tüm Videolar veya Tüm şarkilar veya Tüm Kitaplar gibi bir sayfa varsa oradan hepsini alicaksin. en mantikli yol bu
yaptiğin site ne bilmediğim için o şekilde örnekler verdim.

www.site.com/istanbul/boruhane
www.site.com/istanbul/bakirkoy

yukarıda görüldüğü gbi
istanbul'un altında iki tane sayfa var bunlar boruhane ve bakirkoy
ben bu sayfalar bot ile nasıl uulasıcam otomaitk olarak
yani bot en fazla /istanbul adresini ben yazıcam
daha sonrasını kendi bulcak
ve istedigim icerigi bana vercek
nasıl yapacam?

Seolu olduğu için yapamayacan. Ama örneğin burdaki sayfaların linklendirildiği bir sayfa vardır arkadaşın da dediği gibi, o sayfadaki linkleri botuna belirtip çekmesini sağlayabilirsin.

Halen üzerinde çalışıyorum sorunların

En son geldiğim nokta şudur. Daha önce hiç SEO lu bot yazmadığım için sorunum ondan sanırsam

Neyse nede kaldıma gelirsek.
Son olarak diyelim
Eğer site yolunu böle belirtirsem
www.site.com/hayvanlar
diye kategori var ya
onun altında
www.site.com/hayvanlar/kaplan
................................./kedi
................................./kopek
bu sayflardaki tüm verilere erşebiliyorum. bunu yaptım şu anda botumda sağlıklı bir şekilde calısıyor

Benim bundan sonraki amacım
site yolunu
www.site.com
olarak belirtikten sonra
/hayvanlar yazmaaya gerek kalmadan sitede ne var ne yoksa onların verisine erişemezmiyim
?

sitemap gibi birşey varsa oradan çekiceksin kardeş.