Botlar daha çok bir sitedeki spesifik verileri çekmek için kullanılıyor.
Sitenin tamamını çekmek için zaten bu amaçla yapılmış yazılımlar var.
web ht track vs. bir sürü.