robot.txt yi kontrol ettinizmi? orda engelleme vardır muhtemelen...