bu durumun eklenti ile bir alakası yoktur. "Browser cache" dediğimiz olaydır ve genelikle chrome'da çok yaşanır. Farklı bir browserdan denerseniz sorunun olmadığını görürsünüz.

FTP'den /wp-content/cache/all/ klasörüne bakacak olursanız dosyaların silindiğini görebilirsiniz. Kısacası bu durum tamamen browser ile alakalı.