Evet bu sorun robots.txt ile alakalı ise wordpress sitede bu sorunu engellemek adına içerik nasıl olmalı robots.txt nin.?
Güzel kardeşim fevkalade bir anlatım olmuş ve oldukça faydalandım. Dediklerini hemen inceleyip gerekli uygulamaları yapıp spnuçlara bakacağım. Bu yazdıkların doğrultusunda ki sen problemi tam anlamışsın sanırım. Sence bu durumdaki wp site için (mevcut sorunsalı da baz alalım) robots.txt nasıl olmalı. Bunu da örnek olarak paylaşırsan çok memnun olurum..
Öncelikle ideal robots.txt, içerisinde sitemap' in bulunduğu ve stratejik bazı sayfaları(google tarafında indexlenmesini istemediğiniz) içermelidir. Aşağıda örnek bir robots.txt paylaşıyorum.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap:
http://siteadi.com/sitemap.xml
Ancak şunu belirtmem gerekiyor. Mesela benim burada allow vermiş olduğum admin-ajax.php dosyası; sizin engellenen kaynaklardaki hatalı url' lerinizi içerecek. Yani sizin Engellenen Kaynaklarda /wp-admin/asd.jpg isimli bir dosyanız varsa; robots.txt dosyanıza ayrıca bu dosyaya da allow vermelisiniz.
Ancak dediğim gibi alıp bunu kopyalamanız bir fayda etmez. Sizde hata veren dosyaları analiz edip ona göre eklemeniz lazım. Sıkıntı yaşayan olursa, pm ile ulaşsın bana beraber analiz edelim.
İyi çalışmalar.