robots.txt dosyanıza bakın bazen hata oradan kaynaklı olabiliyor.
Site yeniyse eğer DNS yayılmasını bekleyip birkaç saat sonra deneyebilirsiniz.
site yeni ama 24 saat geçti dns yayılmış olmalı. robots.txt kontrol ettim bir problem yok çok garip bir türlü çözülmüyor.