Bu fikri 100lerce tanıdığım ve ben uzun yıllar önce düşündük, lakin çeşitli sebeplerden dolayı herkes kendi yoluna gitmeyi doğru buldu.
hiç bir şey "yapılamaz" degildir. bunu söyleyen külliyen yalan söyler.
Yapmak istediginiz şeyin ne kadar zor olduğunun siz de farkındayınız. ama yapılamaz degildir (tekrar).
naçizane önerim önce bir web sitesinin yada web sitelerinin içeriklerini çekmek ile başlayın.
Örnek ;
domain = bilmemne.com
yapılacak işlem = ana sayfaya gir, html kodlarını parse et, yalın text i bi DB ye yada text e kaydet, sonra alt linklerini bul. ve onlara de git ve parse et.
domaindeki tüm linkler bulunana kadar işlemi tamamla.

ana çıkış noktası budur.
eğer bir bilgi, yada danışmak istediginiz başlık olursa mesaj atarak ulaşabilirsiniz.