Hocam Robots.txt'de bir sorun yok. Genel indexe açık. Sitenin sayfa kaynağında aşağıdaki gibi bir kod meta varmı bir kontrol edermisiniz.
<meta name="robots" content="noindex">