• 29-10-2020, 14:06:01
    #1
    arkadaşlar merhaba,

    yaklaşık 1 yıl önce seo'dan anlayan bir kişi, web sitemin robots.txt dosyasında değişiklik yaptı.

    ama doğru mu yanlış mı yaptı bilemiyorum.

    Sitemap: https://www.siteadresi.com/sitemap.xml
    
    User-agent: *
     
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /archives/
    Disallow: *?replytocom
    Disallow: /author
    Disallow: /comments/feed/
    User-agent: Mediapartners-Google*
    Allow: /
    User-agent: Googlebot-Image
    User-Agent: Googlebot
    Allow: /*.js*
    Allow: /*.css*
    Allow: /wp-content/uploads/
     
    User-agent: Adsbot-Google
    Allow: /
     
    User-agent: Googlebot-Mobile
    şu anki içerikler bu şekilde.

    sorunum şu:

    örneğin: semrush sitesinde birkaç alanda robots.txt hatası vermektedir.

    sizce bu sorunu nasıl düzeltebilirim?

    yardımcı olmanızı rica ederim.

  • 29-10-2020, 14:07:29
    #2
    wp-includes e erişimi kapamış bundan olabilir belki hocam allow yapın bir öyle deneyin.
  • 29-10-2020, 14:11:03
    #3
    Misafir adlı üyeden alıntı: mesajı görüntüle
    wp-includes e erişimi kapamış bundan olabilir belki hocam allow yapın bir öyle deneyin.
    hocam teşekkür ederim.

    Disallow: /wp-includes/

    bu satırı kökten mi kaldırayım?

    herhangi bir sorun olur mu daha sonra?
  • 29-10-2020, 14:12:10
    #4
    Kimlik doğrulama veya yönetimden onay bekliyor.
    Disallow: /wp-includes/ (izin için satırı kaldırın veya Allow olarak değiştirin)

    Bu klasör altında olan tüm dosyalara erişim kapatılmış. Dilerseniz belirli arama motoruna veya genel olarak izin verebilirsiniz. Genel olarak robots.txt kötü görünmüyor.
  • 29-10-2020, 14:12:33
    #5
    Disallow yerine Allow ekleyip deneyin hocam