robot.txt dosyasını kontrol et. htaccess te bot engelleme varsa onu kaldır