deepcrawl alıyorsunuz sonra orada bulunamayan urlleri çıkart diyorsunuz ardından robot.txt'den o urlleri engelliyorsunuz .