• 31-08-2009, 19:51:49
    #1
    Bu robots.txt'in bir hatası var mı acaba? Başka eklemem gereken bir şey var mı?

    Sitem; www.abcd.com/forum şeklinde. SMF, forum dizinine kurulu.

    Alıntı
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /*ref=
    Disallow: /*?ref=*
    Disallow: /*Themes/
    Disallow: /*smf_scripturl*
    Disallow: /*smf_images_url*
    Disallow: /*index.php?action=register
  • 01-09-2009, 10:53:04
    #2
    index.php?action=register

    Bu adresi neden gizlediniz ki? Diğerleri tamam da, kayıt adresini gizlemeniz gereksiz olmuş bence..
  • 01-09-2009, 12:03:54
    #3
    Spam botları google'da göremesinler diye.
  • 01-09-2009, 23:02:00
    #4
    robot.txt ye bu şekilde komutları versek yeterli mi başka birşey eklemeye gerek var mı ?