WPServis adlı üyeden alıntı: mesajı görüntüle
FTP ile bağlanın siteye public_html içerisine robots.txt dosyası açın bir tane içini düzenleyin.

Örnek bir kullanım

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*

Sitemap: https://www.siteadi.com/sitemap_index.xml
KoS adlı üyeden alıntı: mesajı görüntüle
Robots.txt dosyası normalde public_html klasöründedir. Eğer orada görünmüyorsa kullandığın eklentilerden birisi robots.txt oluşturuyordur. Şimdi hangi eklentiden yaptığını bilmediğim için kısaca eklentileri sırayla kaldırıp urlyi kontrol et. Ne zaman url açılmazsa o eklentinin ayarlarına bak derim. Zaten eklenti ile değil ftp üzerinden public_html klasöründe atarak robots.txt kullanmanı öneririm.

Hiç bişey yapamazsan eğer mevcut robotx.txt dosyasını kopayala ftp ye sen at. Muhtemelen ftpdeki aktif olacaktır.
Tüm eklentileri pasif ettim ama https://www.site.com/robots.txt dosyasına girdiğimde robots.txt dosyam yine aktifdi. Ftp anadizininde de göremiyorum bu dosyayı. bunun üstüne ben yinede kendim oluşturup ana dizine attım. ama buna rağmen halen eski robots.txt aktif olarak görünmeye devam ediyor. :S anlamadım gitti.