• 26-02-2021, 12:29:29
    #1
    Merhaba arkadaşlar,

    web sayfam için aşağıdaki robots.txt dosyasını hazırladım.
    size zahmet kontrol edebilirmisiniz herhangi bir eksiklik ve yanlışlık var mı?
    wordpres ve xenforo kurulu aşağıdaki gibi.

    site içeriği;
    sitenin ana dizine wordpress kurdum ve
    site.com/forum kısmına ise xenforo forum kurdum

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-includes/js
    Disallow: forum/account/
    Disallow: forum/posts/
    Disallow: forum/login/
    Disallow: forum/admin.php
    Disallow: forum/ajax/
    Disallow: forum/data/
    Disallow: forum/conversations/
    Disallow: forum/internal_data/
    Disallow: forum/js/
    Disallow: forum/library/
    Disallow: forum/styles/
    Disallow: forum/install
    Allow: /

    User-agent: Mediapartners-Google*

    Sitemap: https://site.com/sitemap_index.xml
    Sitemap: https://site.com/forum/sitemap.php


    not: sitede robots.txt dosylarını incelediğimde çok eski tarihli bu nedenle konu açma ihtiyacı hissetim.
  • 26-02-2021, 12:35:34
    #2
    xenforo sitemde aşağıdaki şekilde
    User-agent: *
    Disallow: /whats-new/
    Disallow: /find-new/
    Disallow: /members/
    Disallow: /account/
    Disallow: /attachments/
    Disallow: /goto/
    Disallow: /posts/
    Disallow: /login/
    Disallow: /online/
    Disallow: /admin.php
    Disallow: /threads/*/reply
    Disallow: /help?*
    Disallow: /misc/
    Disallow: /install/
    Disallow: /admin.php
    Allow: /
  • 26-02-2021, 12:35:55
    #3
    forum/ bunun önüne / ekle
  • 26-02-2021, 12:37:40
    #4
    Disallow: /wp-admin/
    Disallow: /wp-content/

    edit:
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    sadece Disallow: /wp-content/ yazmanız yeterli
  • 26-02-2021, 12:39:06
    #5
    Hem bunu yazmışsın ama altına bir şey eklememişsin

    User-agent: Mediapartners-Google*

    bu gereksiz duruyor şuanda. Zaten en üstte All* ile izin vermişsin. Engelleme yapmayacaksan bunu silebilirsin.
  • 26-02-2021, 12:50:09
    #6
    Ekonomi adlı üyeden alıntı: mesajı görüntüle
    Hem bunu yazmışsın ama altına bir şey eklememişsin

    User-agent: Mediapartners-Google*

    bu gereksiz duruyor şuanda. Zaten en üstte All* ile izin vermişsin. Engelleme yapmayacaksan bunu silebilirsin.
    hocam biraz daha ayrıntılı bilgi rica ederim anlamadım ne demek istediğini.

    hatta zahmet olmazsa güzel bir robot.tex hazırlayıp paylaşırmısın.

    en ağzından gelecek olan arkadaşlarda güzel bir doküman olur.
  • 26-02-2021, 12:54:06
    #7
    webkit adlı üyeden alıntı: mesajı görüntüle
    Disallow: /wp-admin/
    Disallow: /wp-content/

    edit:
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    sadece Disallow: /wp-content/ yazmanız yeterli

    hocam yorum için teşekkür ederim.
    /wp-content/uploads/ - indexlemesini istediğim için ayrı ayrı yazdım. Malum görsellerde baya ziyaretçi çekiyor.
    bu düşüncem yanlış mı sizce?
  • 26-02-2021, 12:54:39
    #8
    En üste User-agent: * yazmışsın. Bu tüm robotlar anlamına gelir. Tüm robotlar aşağıdaki yönergelere uysun demek. Sonra altına

    Bazı robotların bazı yerelere erişmemesi için tekrar User-agent: -robot ismi- yazabilirsin sonra bunun altına da izin vermeyeceğin disallow yapacağın dizinleri yazabilirsin.

    Yani seninkinde User-agent: Mediapartners-Google* bu robota izin vermek istiyorsan zaten en üstte vermişsin. Yok buna izin vermek değilse amacın bunun altna disallow şekline yerler belirtmelisin. O orada gereksiz kalmış gibi.
  • 26-02-2021, 12:57:59
    #9
    Ekonomi adlı üyeden alıntı: mesajı görüntüle
    En üste User-agent: * yazmışsın. Bu tüm robotlar anlamına gelir. Tüm robotlar aşağıdaki yönergelere uysun demek. Sonra altına

    Bazı robotların bazı yerelere erişmemesi için tekrar User-agent: -robot ismi- yazabilirsin sonra bunun altına da izin vermeyeceğin disallow yapacağın dizinleri yazabilirsin.

    Yani seninkinde User-agent: Mediapartners-Google* bu robota izin vermek istiyorsan zaten en üstte vermişsin. Yok buna izin vermek değilse amacın bunun altna disallow şekline yerler belirtmelisin. O orada gereksiz kalmış gibi.
    tekrardan teşekkür ederim hocam şimdi anladım o zaman bu anlatımına göre aşağıdaki robot.tex hazırladım şimdi var mı bir sorun sence?

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads/
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-content/plugins/
    Disallow: /wp-includes/
    Disallow: /readme.html
    Disallow: /wp-includes/js

    Disallow: /forum/whats-new/
    Disallow: /forum/find-new/
    Disallow: /forum/members/
    Disallow: /forum/account/
    Disallow: /forum/attachments/
    Disallow: /forum/goto/
    Disallow: /forum/posts/
    Disallow: /forum/login/
    Disallow: /forum/online/
    Disallow: /forum/admin.php
    Disallow: /forum/threads/*/reply
    Disallow: /forum/help?*
    Disallow: /forum/misc/
    Disallow: /forum/install/
    Disallow: /forum/admin.php
    Allow: /

    Sitemap: https://site.com/sitemap_index.xml
    Sitemap: https://site.com/forum/sitemap.php