Merhaba,
12 Eylül günü yaşadığımız R1 - R10 cihazlarımızdaki kesinti ile alakalı geniş çaplı bir araştırma sonucu neticeyi buraya yazmak istiyorum.
Yaşadığımız sorun ilk başta cihazlar network almayınca fiber arızası olarak düşünerek fiber kabloyu düzelttirdik. -ki 2. yedeğinde kırıklık vardı düzelttiler. Ardından cihazlar network almayınca karttaki ışık yanmadı, esas sorununun elektrik akımındaki problemi olabileceğini düşünerek (kablolar yumuşamıştı) kabloları değiştirdik lakin 2 yedekli kablo ve power supply olmasına rağmen 2. kabloda arıza olduğundan dolayı biz birincisini değiştirirken cihaz elektriği kesildi. Lakin elektrik ile alakalı sunucu yönetiminde bir uyarı yoktu. Yani 1 adet 1100watt ile çalıştığı için sorun olmadığını gösterdi galiba cihaz bu bir firmware problemi olabilir.
Elektrik sorununu giderdikten sonra ESXi bir uyarı vererek bozuk olduğunu söyledi. Bu olası bir durum esxi bozulabilir biz sorun olmayacağını düşünerek 15 dakika içerisinde yenisini kurduk. Lakin elektrik kesintisi; vmdk (sanallaştırılmış makina yansımaları) üzerinde bloklarda arıza verdiği için tamir etmeye çalıştık 4 makinamızda tamir/kurtarma işlemimiz sağlıklı ilerledi temiz bir şekilde açıldı cihazlar.
Lakin geriye kalan TR5 ve TR9 kodlu cihazlarımızda tamir olmadı ve hata verdi.
Her sabah saat 09:30 ve akşam 18:30 da düzenli yedek almamızın faydasını görerek maks 4 saat geriye giderek hosting makinalarımızı kurtardık. Şu an kontrol ettiğimiz üzere hala denetimimiz altında ve bir sorun gözükmemekte.
Yeni ne önlem aldık? Bu gibi sorunların daha çabuk çözülebilmesi adına 2 cihaz ekstra replike (bir birinin 1 saatlik geri yedeği) olacak şekilde yeniden re-konfigüre ediyoruz. Ayrıca tüm disklerimiz RAID 10 SSD olmasına rağmen nvme hızına geçiş planlamamız mevcut önümüzdeki aylarda.
Tekrardan yaşanılan talihsiz sorun için özür dileriz. Ancak çözümlemelere yaptığımız yatırımlarımızın bugünlerde karşımıza çıkması bizi çok mutlu etti.
Bu süreç içerisinde tüm desteğini esirgemeyen Radore ekibine ve BurtiNET ekibinede teşekkürü borç bilirim. Özellikle soğukkanlı ve bize inanan değerli müşterilerimize çok teşekkür ederim. Bir müşterimiz telefonda "siz bir şekilde çözersiniz güvenim sonsuz" demesi bizim için en büyük motivasyondu. Güveninizi boşa çıkartmadığımız için mutluyuz.
Saygılarımızla.