web archive den veri cekme

iyi gunler 5 yillik sitemiz bazi talihsizlikler sonucu çop oldu. siteyi tekrar kurduk ancak eski icerikleri web arhive. org dan cekmek istiyoruz fakat yaklask 18k icerik var. bunu bir bot ile yapabilir miyiz? yoksa manuel mi olur sadece ? tesekkurler

Hepsini çekebileceğiniz garanti değil ki. Archive.org tüm linkleri arşivlemiyor, hatayla karşılaştığınız sayfalar çok olacaktır.
Ama düzgün arşivlenmiş sayfaların bir bot ile çekilebileceği kanaatindeyim. Fakat resim, video gibi medyalarda sıkıntı çıkabilir.

Not: Ücretli Web Archive kazıyıcılar var. Tek seferde 20K sayfa çekebiliyor. Onları da deneyebilirsiniz. Örneğin:
https://www.waybackmachinedownloader...oader-pricing/

wayback download - Arama Sitesi Arama Motoru

burdaç ıkan linklerde ücretsiz olanlar da var
açık kaynaklı olanalr da var

bot ile çekilir.