Merhaba, genellikle botlar;
Hedef Kategori url toplama,
toplanan url'leri curl / file_get_contents vb. fonksiyonlar ile tek tek sayfalarına ulaşma,
ulaşılan sayfalarda regex yardımı ile veya explode gibi bölme işlemleri ile içerikleri filtreleme (başlık / içerik vs.)
gibi aşamalardan geçerek verilere ulaşır.

Javascript işlemleri için javascript kodu analizi yapmak gerekir. Sayfaya özel, javascript ile ajax işlemleri / popup ile açılan veriler vb. bilgilere ihtiyaç duyuluyorsa bu bilgiler için kaynak link yapıları bulunarak / oluşturularak o sayfalar içindeki verilere ulaşılıp içerikler oradan da çekilir.

İyi çalışmalar dilerim.