peki sitende önbellek varsa ve sen önbelliği botların önbelleğe gelmesini kapatmışsan şimdi siten zaten botlarada önbellek gösteriliyor. o yüzden sitenin önbelleğini açmak zorundasın diye düşünüyorum. sonuçta önbelleği botlara gözükecek. direk sitenin önbelleksiz haline bot gelmez ki. bence orda disallow önbelleği kaldır tekrar dene. büyük ihtimal sorun çözülecektir