GSite Crawler programı ile kendinde yapabilirsin.