Robots.txt dosyası normalde public_html klasöründedir. Eğer orada görünmüyorsa kullandığın eklentilerden birisi robots.txt oluşturuyordur. Şimdi hangi eklentiden yaptığını bilmediğim için kısaca eklentileri sırayla kaldırıp urlyi kontrol et. Ne zaman url açılmazsa o eklentinin ayarlarına bak derim. Zaten eklenti ile değil ftp üzerinden public_html klasöründe atarak robots.txt kullanmanı öneririm.

Hiç bişey yapamazsan eğer mevcut robotx.txt dosyasını kopayala ftp ye sen at. Muhtemelen ftpdeki aktif olacaktır.