• 29-11-2023, 14:54:55
    #1
    Arkadaşlar, dün yanlışlıkla veri merkezi tarafından yanlış etiket sonucuyla canlı çalışan kendimize ait fiziksel sunucumuza restart işlemi uygulandı.

    2 Adet datastore var;
    • Datastore1 (Tüm xxxx.vmx.lck dosyaları burada)
    • SSD2 (Sorunsuz)
    Datastore1 içerisinde verileri görebiliyoruz fakat disk işlem yapmamıza izin vermiyor. Anlık restart işleminde zarar gördü ve disk kendi kendine lock oldu. VM'leri ne register edebiliyoruz ne de vmdk, vmx'i bilgisayara indirebiliyoruz.

    135 Adet VM'dan sadece 76 Tanesi canlı şekilde çalışabilir halde, hızlıca farklı SSD takıp SSD'i farklı RAID grubuna aldık ve aynı sürümden ESXI kurulumu sağladık. Diskleri import ettik fakat sorun hala devam ediyor işin içinden çıkamıyoruz.


    /var/log/vmkernel.log içerisinde de 2023-11-29T00:18:27.258Z cpu38:2112181)WARNING: HBX: 5498: Replay of journal <type 6 addr 7> on vol 'datastore1' failed: Lost previously held disk lock hatası dönüyor.

    voma ile check etmeye çalıştığımızda "VOMA failed to check device : Device or Resource busy" dönüyor.
    voma -m vmfs -f fix -d deniyoruz "ERROR: Device failed to open : No such file or directory" dönüyor.

    vmkfstools -D çıktısında mode 1 dönüyor.

    Lock main ESXI'dan geliyor, farklı bir hostumuz yok zaten fakat bunu da maintenance mode'a alıp restart bile çözmüyor.

    Bu durumu sanırım @CliaWeb; yaşamış araştırdığıma göre fakat çözemediler her halde...

    DiskInternals VMFS Recovery ile denediğimizde VMX içerisini ve flat vmdk'in içeriğini görebiliyoruz veriler zarar görmemiş ama sanırım partitionlar zarar gördü..

    Bilgisi olan arkadaşlar lütfen ulaşabilir mi?

    Teşekkürler.
  • 29-11-2023, 15:01:04
    #2
    AhmetCVK adlı üyeden alıntı: mesajı görüntüle
    Arkadaşlar, dün yanlışlıkla veri merkezi tarafından yanlış etiket sonucuyla canlı çalışan kendimize ait fiziksel sunucumuza restart işlemi uygulandı.

    2 Adet datastore var;
    • Datastore1 (Tüm xxxx.vmx.lck dosyaları burada)
    • SSD2 (Sorunsuz)
    Datastore1 içerisinde verileri görebiliyoruz fakat disk işlem yapmamıza izin vermiyor. Anlık restart işleminde zarar gördü ve disk kendi kendine lock oldu. VM'leri ne register edebiliyoruz ne de vmdk, vmx'i bilgisayara indirebiliyoruz.

    135 Adet VM'dan sadece 76 Tanesi canlı şekilde çalışabilir halde, hızlıca farklı SSD takıp SSD'i farklı RAID grubuna aldık ve aynı sürümden ESXI kurulumu sağladık. Diskleri import ettik fakat sorun hala devam ediyor işin içinden çıkamıyoruz.


    /var/log/vmkernel.log içerisinde de 2023-11-29T00:18:27.258Z cpu38:2112181)WARNING: HBX: 5498: Replay of journal <type 6 addr 7> on vol 'datastore1' failed: Lost previously held disk lock hatası dönüyor.

    voma ile check etmeye çalıştığımızda "VOMA failed to check device : Device or Resource busy" dönüyor.
    voma -m vmfs -f fix -d deniyoruz "ERROR: Device failed to open : No such file or directory" dönüyor.

    vmkfstools -D çıktısında mode 1 dönüyor.

    Lock main ESXI'dan geliyor, farklı bir hostumuz yok zaten fakat bunu da maintenance mode'a alıp restart bile çözmüyor.

    Bu durumu sanırım @CliaWeb; yaşamış araştırdığıma göre fakat çözemediler her halde...

    DiskInternals VMFS Recovery ile denediğimizde VMX içerisini ve flat vmdk'in içeriğini görebiliyoruz veriler zarar görmemiş ama sanırım partitionlar zarar gördü..

    Bilgisi olan arkadaşlar lütfen ulaşabilir mi?

    Teşekkürler.
    Önemsiz bir VM üzerinde kilit kaldırma ve descriptor oluşturma deneyip alınan sonuca göre çözüme ulaşılabilir, eğer VM içeriği recovery araçlarıyla gözüküyorsa bu işlem de çözüm olabilir(garanti vermiyorum)
  • 29-11-2023, 15:07:00
    #3
    yalinyalniz adlı üyeden alıntı: mesajı görüntüle
    Önemsiz bir VM üzerinde kilit kaldırma ve descriptor oluşturma deneyip alınan sonuca göre çözüme ulaşılabilir, eğer VM içeriği recovery araçlarıyla gözüküyorsa bu işlem de çözüm olabilir(garanti vermiyorum)
    Öneriniz için teşekkür ederim. Bununla ilgili bir docs varsa iletebilir misin rica etsem? Girmediğimiz web site kalmadı artık elimiz kolumuz bağlı şekilde Veri Merkezi ile iletişime geçiyoruz çalışır sunucumuza nasıl onayımız olmadan restart atarsınız diye
  • 29-11-2023, 15:09:50
    #4
    AhmetCVK adlı üyeden alıntı: mesajı görüntüle
    Öneriniz için teşekkür ederim. Bununla ilgili bir docs varsa iletebilir misin rica etsem? Girmediğimiz web site kalmadı artık elimiz kolumuz bağlı şekilde Veri Merkezi ile iletişime geçiyoruz çalışır sunucumuza nasıl onayımız olmadan restart atarsınız diye
    VMware sitesinde(kb.vmware.com - knowledge base) descriptor oluşturma işlemi mevcut; tabi VM'lerin güncel durumunu görmek lazım işleme müsait de olmayabilirler kilit sorunu çözülse bile başka bir yerden hasar almış olabilirler.
    İmzaladığınız sözleşmede bu durumu kapsayan bir madde yoksa veri merkezinden sorunun ücretsiz çözümünü talep edin.
  • 29-11-2023, 15:10:52
    #5
    Merhaba,

    Bu sorunu eskiden yaşamışmıydık hatırlayamadık. Ancak sanırız böyle bir sorunda vmkfstools aracı ile vmdk repair ederek çözmüş olabiliriz belki. Ancak sizdeki senaryo hakkında bizim bir öneride bulunmamız doğru olmaz. Müsait zamanı olan bir sistem uzmanından destek almanız daha doğru olur.

    İyi çalışmalar.
  • 29-11-2023, 15:15:09
    #6
    yalinyalniz adlı üyeden alıntı: mesajı görüntüle
    VMware sitesinde(kb.vmware.com - knowledge base) descriptor oluşturma işlemi mevcut; tabi VM'lerin güncel durumunu görmek lazım işleme müsait de olmayabilirler kilit sorunu çözülse bile başka bir yerden hasar almış olabilirler.
    İmzaladığınız sözleşmede bu durumu kapsayan bir madde yoksa veri merkezinden sorunun ücretsiz çözümünü talep edin.
    Selamlar, gördüğüm kadarıyla vmx tarafında düzenleme yapmamız isteniyor fakat sunucu içerisinde mv, cp, cat gibi komutlarda Input/output dönüyor ne kadar mükemmel dimi

  • 29-11-2023, 15:20:09
    #7
    AhmetCVK adlı üyeden alıntı: mesajı görüntüle
    Selamlar, gördüğüm kadarıyla vmx tarafında düzenleme yapmamız isteniyor fakat sunucu içerisinde mv, cp, cat gibi komutlarda Input/output dönüyor ne kadar mükemmel dimi

    Sistem komutlarında da sorun varsa disk tablo yedeklerini kontrol etmek lazım, yani ESXi içi değil 3. parti araçları liveboot yapıp denemek gerekecektir.
    Ama dediğim gibi sözleşmede sorumluluk kabul etmiyoruz demedikleri sürece firmadan talep etmek mantıklı olacaktır.
  • 30-11-2023, 12:42:30
    #8
    @yalinyalniz; Uzun araştırmalar sonucunda benimle aynı sorunu yaşayan birine kadar buldum. Fakat tuhaftır ki ESXI 6.7 sürümünde düzeltildi diyor ben 7.0u3'üm.

    https://kb.vmware.com/s/article/60394


    Artık beynim durdu 3 gündür kesintisiz bu soruna bakıyorum