Bir sitenin içerik başlıklarını çekebilirmiyiz

Merhaba hedef 1 site var ve o sitenin eklenen bütün içeriklerinin başlıklarını listeletmek istiyorum nasıl yapabiliriz PM ile fikir iletebilirmisiniz

Aynı soruyu sorabilecek kişilere cevap olması açısından buradan cevap veriyorum;


Herhangi bir sitede ziyaretçi statüsü ile görebildğiniz bütün verileri bot aracılığı ile çekilip işlenebilir.

CRAWL - BOT vs terimleri araştırın.

Google ile index alanlar alınabilir. Google arama ayarların listelemeyi 100 yapın. site:istenensite.com diye aratırsanız tüm index alan içerikler listelenir.
Bunun dışında eklenen yeni içerikler rss ile alınabilir.

RSS ile basit bir şekilde görebilir, takip edebilirsin. Sitede RSS altyapısı olması lazım tabi.

sitenin sitemap.xml adresi varsa onu çekip ayıklarsınız en basiti. yada rss.

Hedef sitede sayfalama varsa alınır listelenir
Ücretli bir istekse 1 2 saat sonra halledelim.