şöyle söyliyim, bir indexleme botu olarak düşünürsek: ansayfaya geldim adres satırındaki linki aldım birde site içindeki textleri aldım tabloya kaydettim, anasayfada bulunan farklı sitelere verilmemiş linkleri takip edip sayfalardaki textleri kaydetmek; ama ziyaret ettiğim bir sayfayı bir daha ziyaret etmemek amacım, link takibi derken bunu kastettim.


Kendim biraz daha düşündüm ve şöle bir yöntem buldum; ama henüz uygulamadım:

2 tane array olacak birincisine sayfada bulunan linkleri atacam, ikincisinede ziyaret attığım linkleri, sayfaları ziyaret ederken aynı linklerin olup olmadını ziyaret edilmiş veya edilmemişlerin arasında bulursam eklmicem, ziyaret ettiklerimide birinci diziden silip ikinciye aktarıcam, sanırım bu şekilde başarılı olabilirim, deneme fırsatı bulursam ve başarılı olursam buraya yazmaya çalışacağım.

Veya daha önceden bu şekilde bir çalışma yapmış olan arkadaşlar varsa yardım ederseniz daha iyi olacak, veya basit her siteye uygulanabilir hazır script varsa onuda inceleyebilirm.