0
Kayıt Ol

robot.txt

7

●

728

  • 07-07-2008, 23:20:16
    #1
    wm_xfreex
    wm_xfreex
    Kimlik doğrulama veya yönetimden onay bekliyor.
    arkadaşlar sitemde robot.txt var içeriği şöyle ben bu dosyayı silsem ne olur
    silmeli miyim silersem otomatikman tüm böcüklere botlara izin vermiş olur muyum

    Alıntı
    User-agent: Googlebot
    User-agent:Googlebot
    User-agent:BizBot04 kirk.overleaf.com
    User-agent:HappyBot (gserver.kw.net)
    User-agent:CaliforniaBrownSpider
    User-agent:EI*Net/0.1 libwww/0.1
    User-agent:Ibot/1.0 libwww-perl/0.40
    User-agent:Merritt/1.0
    User-agent:StatFetcher/1.0
    User-agent:TeacherSoft/1.0 libwww/2.17
    User-agent:WWW Collector
    User-agentrocessor/0.0ALPHA libwww-perl/0.20
    User-agent:wobot/1.0 from 206.214.202.45
    User-agent:Libertech-Rover www.libertech.com?
    User-agent:WhoWhere Robot
    User-agent:ITI Spider
    User-agent:w3index
    User-agent:MyCNNSpider
    User-agent:SummyCrawler
    User-agent:OGspider
    User-agent:linklooker
    User-agent:CyberSpyder (amant@www.cyberspyder.com)
    User-agent:SlowBot
    User-agent:heraSpider
    User-agent:Surfbot
    User-agent:Bizbot003
    User-agent:WebWalker
    User-agent:SandBot
    User-agent:EnigmaBot
    User-agent:spyder3.microsys.com
    User-agent:Freeloader.com : Free Games - Free Online Games - Free PC Games!.
    Disallow: /admin/
  • 07-07-2008, 23:21:16
    #2
    Tufan
    Tufan
    robot değil arkadaşım robots.txt

    I don't want to list every file that I want to block. Can I use pattern matching?
    üstteki linkden bilgilenebilirsin.
  • 07-07-2008, 23:24:52
    #3
    wm_xfreex
    wm_xfreex
    teşekkürler fakat robots.txt nin nasıl oluşturulduğuna dair bilgiler gördüm
    eğer silersem otomatikman tüm botlara izin mi vermiş olurum
  • 07-07-2008, 23:31:47
    #4
    phoenix
    phoenix
    Üyeliği durduruldu
    wm_xfreex adlı üyeden alıntı: mesajı görüntüle
    teşekkürler fakat robots.txt nin nasıl oluşturulduğuna dair bilgiler gördüm
    eğer silersem otomatikman tüm botlara izin mi vermiş olurum

    Evet, admin klasorune giris yapip "hihohoho giris ismi: admin sifre: hedehot" diye de asiverirler arama sonuclarina
  • 07-07-2008, 23:40:41
    #5
    wm_xfreex
    wm_xfreex
    phoenix adlı üyeden alıntı: mesajı görüntüle
    Evet, admin klasorune giris yapip "hihohoho giris ismi: admin sifre: hedehot" diye de asiverirler arama sonuclarina
    ama sonuçta /admin adresine hiçbir link yok
    google nasıl indexleyecek
    eğer silersem tüm botlara izin vermiş olur muyum
  • 07-07-2008, 23:55:11
    #6
    LineTurk
    LineTurk
    wm_xfreex adlı üyeden alıntı: mesajı görüntüle
    ama sonuçta /admin adresine hiçbir link yok
    google nasıl indexleyecek
    eğer silersem tüm botlara izin vermiş olur muyum

    Kardeş bende şu anda bi robots.txt yok fakat her arama motoru rahat rahat giriyor çıkıyor bence kalsın robots.txt ama tabi bu işin ustaları ne der bilemem ben bi amatörüm ..
  • 07-07-2008, 23:58:15
    #7
    Elestirmen
    Elestirmen
    Robots.txt ile gelen google ve diğer arama motoru botlarını yönetebilirsiniz istemediğiniz dizinlerin indekslenmesini engellersiniz. Botlar zaten şifreli dizinleri ve dosyaları okuyamaz.
  • 08-07-2008, 00:05:33
    #8
    ErsaT
    ErsaT
    İçeriğini aşağıdaki gibi yap.
    Alıntı
    User-agent: Mediapartners-Google*
    Disallow:
    User-agent: *
    Disallow: /admin/
    Bu haliyle admin klasörüne erişimi engellemiş oluyorsun.
    Admin klasörüne giriş yetkisi versende botlar admin girişi yapamaz. Zaten burdaki amaç bu değil. Admin sayfaların googlede görünmemesi amaç.

    Deneme yapmak isteyen kötü niyetli kişiler inurl:admin diye aratıp yönetici linkine erişiyorlar. Bunu engellemek için admin klasörüne girişi engelliyorsun.