ben bunu denedim robots.txt kapalı olduğu halde etiket indexleniyor

bunu yapalı 2 ay olmuştu 1 ay sonra robots.txtde hata çıktı tüm indexler gitti dikkat edin kapatmak en iyisi