robots.txt ne için kullanılır? Robots meta etiketini kullanma
Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve arama sonuçlarında kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:
<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(
)
</head>
<body>(
)</body>
</html>
Kaynak: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#robots-meta-etiketini-kullanma
Yalnızca Googlebot'un sayfanızı taramasını engellemek için, etiketi aşağıdaki şekilde güncelleyin:
<meta name="googlebot" content="noindex" />
Bu etiket artık, Google'a (diğer arama motorlarına değil) bu sayfayı
web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.
Eğer bahsettiğiniz belli urllerin indexlenmesini engellemek istiyorsanız sadece
bahsettiğniz sayfalara no index meta etiketini
ekleyebilirseniz sorunu aşabilirsiniz.
teşekkürler fakat ben o dökümanı okudum, sayfadan bahsetmiyorum ''url''den bahsediyorum..
örneğin bir blog yazısının ftp de sayfası olmuyor..