@webrlis arkadaşın dediği gibi her sitenin yapısı farklı. Her site için özel kodlama yapılması gerekiyor.

Bunların genel olarak ismi crawler veya harvester olarak geçiyor