merhaba robot.txt dosyası oluşturup kulladıgın sunucunun public.html klasörünün içine atmalısın. bilmiyorsan dosyası sunucu yetkilerine ver onlar bile yerleştirir sonra robot.txt doğrulaması yapıp sorunun gittiğini gözlemleyebilirsiniz hocam