Bu durumun panda ile ilgisi olmayabilir. Soruyu bir süre önce çok değerli bir seo uzmanı arkadaşıma sordum. Aldığım cevap şu şekilde.

Bir bot gelip indexler ve site geçici sıralama alır.
Daha sonra sitenin üzerinden farklı sıralama algoritmaları geçer. Bu süreçte site sıralamasını kaybeder. Bu tür sitelere tekrar bot gönderirseniz yine sıralamaya girerler.

Sorunun kaynağı sitede ve büyük ihtimalle site içi seodadır. Algoritmaya takıldığında geriliyor.