Pop3 olarak kurduğunu sanıyorum.
Outlook pst dosyalarını genelde : C:\Users\xxx\Documents\Outlook Dosyaları içnde bulundurur. Format atacağınız zaman burda ki dosyanın yedeğini almanız gerekir.

Siz eğer kopyasının sunucudan silinmesini istiyorsanız o işaretli olarak kalacak. Orda belirtilen 14 gün demi yoksa daha uzun veya kısa sürede silinmesini istiyorsanız şayet oradaki sayıyla oynarsınız. Yada sunucudan silinmemesini istiyorsanız tiki kaldırırsınız.

Her iki ihtimalde de belirttiğim gibi bu maillerin yedekleri belirttiğim klasorde saklanır. Yedek alırsanız her formattan sonra bu dosyayı göstererek eski maillerinize ulaşırsınız.