Bu cevap, konu sahibi tarafından kabul edilebilir bir cevap olarak işaretlendi.
Cloudflare'ın robots.txt yapılandırmasını kapatmanızı öneririm. Sunucu tarafından robots.txt dosyası oluşturun veya wordpress tarzı sistem kullanıyorsanız SEO eklentilerinden ayarlayın.
Security / Settings / Manage your robots.txt