indexlenmesini istemediğimiz sayfaları mesela (/tags) yoast seo ayarlardan noindex yapıyorum. Çoğu kişi de öyle yapıyodur diye düşünüyorum. Peki ayrıca robots.txt de bu engellemeye ihtiyaç varmı? veya yanlış mı yapıyoruz? sadece robots üzerinden mi işlem yapmamız gerekli?
ayrıca bir pm attım hocam size farklı bir konu ile ilgili.
noindex, follow
noindex, nofollow
hangisinden bahsediyorsun?
robots.txt ile arama motorlarını engelleyebilirsin. meta etiketleri tüm arama motorları takip etmez ama robots.txt yi her bot takip eder. O yüzden robots.txt daha iyidir ama tabi kullanma amacına bağlı. noindex, follow kullanırsan, içerik indexlenmez ama konunun içersinde linklenmiş URL'leri arama motorları takip etmeye devam eder. noindex, nofollow kullanırsan ne linkleri takip eder ne de indexler.