Robots.txt yi kontrol ederseniz. Akla ilk gelen bu oluyor çünkü.