Paylaşım için teşekkürler.
Benim wordpress siteler için robots.txt önerim , herhangi bir kısıtlamanın olmaması yönünde. Robots.txt dosyası arama motorları robotlarını yönlendirici bir dosyadır. Zararlı botlara herhangi bir etkisi yoktur, çünkü bu dosyayı takip etmezler. Eğer html sayfalarınızda dosyalarınızın herhangi bir linki varsa, bırakın Google rahatça bu dosyaya ulaşsın, yoksa zaten problem yok. robots.txt dosyasını , sadece duplicate content problemleri yaşıyorsanız kullanmanızı tavsiye ederim. Örnek olarak yoastın robots.txt dosyasına bakabilirsiniz, herhangi bir kısıtlama yoktur.
https://yoast.com/robots.txt