robots.txt dosyası varsa
Sitemap: http://siteadınız.com/sitemap.xml
bu kodu ekleyin
alttaki kodlarla da taranmasını ıstemedıgınız dosyaların linklerini engelleyebilirsiniz
bu kodları cogaltarak gıdebılırsın
Disallow: /admin
Disallow: /link.html
en etkili method budur
robots.txt dosyanız yoksa eyer
robotx.txt olusuturun bı tane
yada bos bi dosya olusturup uzantısını .txt seklinde yapın

tarama botları sıtenızı ziyaret ettıgınde ilk olarak robots.txt dosyasının içini tarar ordan sitemap dosyamı tara sadece komutunu alır
ve taramadan harıc tutulan lınklerı de taramaz
hıc bır yerde o linkler gorunmez