• 28-01-2024, 14:49:50
    #1
    Merhaba arkadaşlar sizce bu robots.tx sizceyeterli mi karar veremedim. Yapmam gereken değişiklik var mı ?

    User-agent: Googlebot
    User-agent: googlebot-image
    User-agent: googlebot-mobile
    User-agent: MSNBot
    User-agent: Slurp
    User-agent: Teoma
    User-agent: Gigabot
    User-agent: Robozilla
    User-agent: Nutch
    User-agent: ia_archiver
    User-agent: baiduspider
    User-agent: naverbot
    User-agent: yeti
    User-agent: yahoo-mmcrawler 
    User-agent: psbot
    User-agent: yahoo-blogs/v3.9
    User-agent: *
    Disallow: /threads/*/reply
    
    
    User-agent: *
    Disallow: /whats-new/
    Disallow: /account/
    Disallow: /hesap/
    Disallow: /members/
    Disallow: /kullanicilar/
    Disallow: /attachments/
    Disallow: /goto/
    Disallow: /posts/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /help?*
    Disallow: /yardim?*
    Disallow: /search/
    Disallow: /arama/
    Disallow: /misc/
    Disallow: /install/
    Disallow: /admin.php
    Disallow: /yonlendirme?*
    Disallow: /yonlendirme*
    Disallow: /misc/cookies*
    Allow: /
    
    Sitemap: https://site.com.tr/sitemap.xml
  • 28-01-2024, 17:13:29
    #2
    En iyisi sanırım
    Bu URL'leri başka sitelerden örnek alarak elde bulunsun diyerek eklediyseniz doğru bir kullanım değil.
    Siteyi görmeden, rastgele bir engelleme yapılamaz.

    İlgili içeriğimizi okurayarak kendiniz için bu dosyayı nasıl oluşturacağınızı öğrenebilirsiniz:
    https://seoegitim.com/robots-txt/
  • 28-01-2024, 18:06:45
    #3
    Gelistirici adlı üyeden alıntı: mesajı görüntüle
    Bu URL'leri başka sitelerden örnek alarak elde bulunsun diyerek eklediyseniz doğru bir kullanım değil.
    Siteyi görmeden, rastgele bir engelleme yapılamaz.

    İlgili içeriğimizi okurayarak kendiniz için bu dosyayı nasıl oluşturacağınızı öğrenebilirsiniz:
    https://seoegitim.com/robots-txt/
    Yok kendime göre yaptım hocam