Ama ne yazık ki doğru olarak robot txt de nasıl engelleyeceğim bunun için anlatım yapabilir misiniz ?
robots.txt adı altında metin belgesi oluşturun.
İçeriğine aynen şunları ekleyip
Alıntı
User-agent: Mediapartners-Google*
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: Slurp
Crawl-delay: 60
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-config.php
Disallow: /wp-login.php
Disallow: /wp-pass.php
Disallow: /wp-register.php
Disallow: /wp-settings.php
Disallow: /wp-includes
Disallow: /comments
Disallow: */comments
Disallow: /comment
Disallow: */comment
Disallow: /comment-page-1
Disallow: */comment-page-1
Disallow: /*?*
Disallow: /*?
Disallow: /*ref*
Disallow: /?id=
Disallow: /*pg=*
Disallow: /*pg=
Disallow: /?pg=
Disallow: ?pg=
Disallow: /?pg
Disallow: /*ref=*
Disallow: /*ref
Disallow: /?ref
Disallow: ?ref
Disallow: /?id
Disallow: /page/*ref=
Disallow: /page/?ref=
Disallow: /page/?id=
Disallow: /page/*ref=*
Disallow: /page/?id
Disallow: /page/*ref*
Sitemap:
http://www.siteadi.com/sitemap.xml
ftp'de (puplic html) dosyaların yüklü olduğu ana dizine gönderin.