Bugün dikkatimi çekti sitem nedense archive.org/ yoktu. biraz bakınca anladımki robots.txt iğle engellenmiş gözüküyordu.bunu üzerine biraz araştırdım ve sonuçta sizinle paylaşmak istedim. Öncelik eğer siz de benim gibi en garantisi www.r10.net/robots.txt dir diyip kullanıyorsanız siz de yoksunuz archive.org/'da.
öncelikle robots.txt yi açın ve şunlara bakın:
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver/1.6
Disallow: /
eğer robots.txtniz bunlar varsa hemen silin kaldırın.
daha sonra alexaya gideceğiz.malum archive.org alexa verileriyle işleyen bir sistem.
Alexa - Information for Webmasters
bu sayfaya gidiyoruz ve en altta Crawl my site yazan bir buton var. yanına sitenizin adresini yazıyorsunun ve butona basıyorsunuz.
Gerisi sizden çıkar artık zamana alexa ve archive'e kalmış bir şeydir.
Edit:
"Why are there no recent archives in the Wayback Machine?
It generally takes 6 months or more for pages to appear in the Wayback Machine after they are collected, because of delays in transferring material to long-term storage and indexing.
siteniz archive botu tarafından indexlenemeye başladıktan 6 ay sonra hatta daha fazla sürede gözükmeniz mümkün olabilir diye belirtilmiştir."
umarım faydalı olmuştur
yazan:archslayer