Botlar siteni gezdiği sırada siten kapalı durumdaysa indexleyemeyebilir ve dolayısı ile sayfaların silinebilir.