ftp ana dizinindeki robots.txt dosyasının içeriği şu şekildemi kontrol et.
User-agent: *
Disallow:
Bu şekildeydi fakat problemden sonra bazı tavsiyeler üzerinde değiştirdim.
Burdaki * bütün arama motorları anlamına geliyor onu biliyorumda Disallow: ne anlama geliyor?