Robots.txt rağmen benimde başıma aynı sorun gelmişti. Üstte yazdıklarımı uygularsan çözüleceğine eminim.