Ek olarak pdf urllerinin olduğu sayfada botların iç urlleri taramasını istemiyorsanız sayfa <head> içerisinde şunu ekleyin;
<meta name="robots" content="nofollow">
Teşekkür ediyorum. Bu işe yarayacaktır sanırım. Peki PDF URL'lerinin olduğu sayfaya bunu eklediğimde sayfanın tüm içeriği taranmamış olur sanırım değil mi?