Bundan 2 yıl evvel semantik web projesi üstünde çalışırken buna benzer birşeyi yaptım. Hatta dreamhost hesabımda yüzbin civarı sayfa indeksledim.
Çok problemleri var hatırladığım kadarıyla, geliştiricinin hepsini aşması gerek. Mesela aynı döngülerde dolanmamak gibi. Mesela javascript linklerden tutun da link-farm'lara girmemek gibi (internetin çok ciddi bölümü adsense için yapılmış saçma sayfalardan oluşur, bir girdiniz mi zor çıkarsınız) dolanan örümceğin biraz da verimli dolaşması lazım, aynı ağlara dalıp veritabanın yarısını aynı sitelerden alırsanız sadece o sitelerin arama motoru gibi olursunuz.
Bunun dışında çok şey de var.

Böyle bir işi alabilirim ama sizden sabır bekleyeceğim, süre üstünden değil, işin kalitesi üstünden konuşalım. Çünkü periyodik olarak çalıştıracağınzı bir kod olacak verimli olmalı.

PM ile ulaşırsanız size referans listemi aktarabilirim.
İlgili kod yanımda yok, eski bilgisayarımla gitti. Ama önemli olan zaten crawler kodunu yazmak değil, kafada oturtmak, kodda birşey yok, 5-10 sayfa en fazla.

Tolga