Robots.txt tarafından engelleniyor olsa da dizine eklendi

Sitemin 1 sayfasını robotların indexlememesini istiyorum. O sayfayıda robots.txt ye ekledim fakat search console da bu şekilde uyarı vermiş ve dizine eklenmiş olarak görüyorum. Bunun çözümü nedir?

Noindex meta tag,ı eklemek ve robots.txt'den silmek.

normalde

header("X-Robots-Tag: noindex, nofollow", true);

vardı ama genede indexlenmiş.

<meta name="robots" content="noindex" />
Bu etiketi kullanabilirsiniz

teşekkürler... robots.txt den kaldırdım bakalım...

Bu durumlarda benim tercihim ne olur ne olmaz siteyi bakım/tasarım moduna alıp öyle işlem yapmaktır. Bu sayede kesinlikle ama kesinlikle siteye erişim sağlamamış oluyor.

x robots etiketini HTTP headerına eklemiştiniz değil mi?

Bazen böyle uyarı verebiliyor doğrulamayı başlatınca düzelir. Tabi ki ilgili sayfalar engelliyse hala.

URL kaldırma kısmından ilgili URL'yi de kaldırabilirsiniz bu arada. Benim de başıma geldi ama index.php yi indexlemiş.