• 07-12-2012, 01:12:13
    #1
    Arkadaşlar robots.txt dosyam ana dizinimde yok fakat siteismi.com/robots.txt yazınca sayfada şunlar çıkıyor

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Sitemap: http://www.bahissistem.com/sitemapindex.xml

    Sitemap: http://www.bahissistem.com/sitemap.xml.gz

    1. si burada eksir bir şey varmı
    2. si Kök dizininde sitemap99.xml ve aynı şekilde sitemap99.xml.gz dosyaları var bunları benmi oluşturdum yoksa bi eklenti sayesinde mi oluştu anlamadım. ben oluştursam 1-2 yaparım 99 olunca aklıma shell geldi birden
    3. sü izinleri sitemaplerin izinlerini 777 yaptım komple yanlış değilse tabiki

    4. sü ise Googlenin kendi yazısını okudum indekslenmesini istemediğiniz bir sayfanız yoksa Robots.txt dosyasını boş değil hatta oluşturmanıza bile gerek yoktur diyor. FAkat okuduğum bir kaç kişinin yazsınıda mutlaka oluşturulması gerekircesine yazılar gördüm.
    5. Si benim Robots.txt dosyam kök dizinimde yok nerede bu acaba Ben oluşturmadım ama çağırınca sayfa olarak çıkıyor karşıma
  • 07-12-2012, 20:45:26
    #2
    Mesajı gece yarısı yazınca böyle oluyor sabaha kadar 2 ci sayfaya geçiyor akşamda kimse okumuyor bende Güncel yazmak zorunda kalıyorum
  • 08-12-2012, 11:19:18
    #3
    Cevap 5 : Wordpress sanal robots.txt dosyası oluşturur. Yani kök dizinde bir robots.txt dosyası olmasa dahi çalışır ve gerçek bir robots.txt dosyasına gerek kalmaz.

    Cevap 4:
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Bu sayfaların indexlenmesini kim isterki ? Site:siteadi.com sorgusunda onlarca gereksiz sonuç oluşacaktır. Ayrıca robots.txt dosyasındaki ilk satır tüm google botlarının siteyi indexleyebileceğini belirtir. * yerine farklı örümcek adlarıda yazılabilirdi. ama bu gereksiz olurdu. Örümcek bu ölürmü kalırmı gelirmi gelmezmi belli olmaz gelen indexlesin geçsin.
    Cevap 1: Eksik bir şey yok çoğu robots.txt dosyası bu şekildedir.

    Soru 2 ve 3 konusunda fikrim yok. Benim sitemapimde 777 izinlerine sahip. Farklı izinler verince yazmada sıkıntı yaşadığımdan 777 yapmıştım.