Teşekkür ediyorum. Bu işe yarayacaktır sanırım. Peki PDF URL'lerinin olduğu sayfaya bunu eklediğimde sayfanın tüm içeriği taranmamış olur sanırım değil mi?
Sayfa içeriğini index alır. Sayfadan verdiğiniz bağlantıları index almaz. Şuna dikkat edin bot başka bir sayfadan dofollow referans ile pdf dosyasına ulaşırsa o zaman yine index alır. Örneğin siz bu şekilde engellediniz. Ben pdf linkine "x" bir sitede dofollow bağlantı verdim. Bu durumda yine pdf indexlenir.
"<meta name="robots" content="....">" etiketi şu değerleri alabilir;
index -> default değerdir. Tüm sayfa ve bağlantılarda bir engel olmadan indexler
Noindex -> sayfa içeriğini index almaz
Nofollow -> sayfa içeriğini indexler ama sayfadan verilen bağlantıları index almaz
diğerlerini araştırabilirsiniz;
Follow
None
Noarchive
Nosnippet
Noodp
Noydir