hocam verdiğiniz bilgiler çok faydalı teşekkür ediyorum. peki;
User-agent: Googlebot
Allow: /
Crawl-Delay: 2
User-agent: Yandex
Allow: /
Crawl-Delay: 2
yukarıdaki Crawl-Delay: 2 anlamı ne ?
Satır 6: Crawl-Delay: 2 Kural Googlebot tarafından yok sayıldı
Satır 10: Crawl-Delay: 2 Kural Googlebot tarafından yok sayıldı
burasını da açıklarsanız sevinirim..
crawl-delay örümceklerin sitedeki dolaşımını hızlandırmak-geciktirmek ya da ne sıklıkla (sn cinsinden) sayfalara erişeceğini belirtmek için kullanılıyor yani Crawl-Delay: x girdiğiniz x değeri ile x saniye sıklığıyla sitenize uğrasın diyorsunuz sunucu trafiğini yememesini daha rahat dolaşmasını yönlendirebiliyorsunuz bir nevi botların.. şunlarada göz gezdirebilirsin crawl ve diğer robots konuları hakkında,
http://yardim.yandex.com.tr/webmaste...robots-txt.xml https://support.google.com/webmaster...er/48620?hl=tr https://support.google.com/webmaster...r/156449?hl=tr http://tr.wikipedia.org/wiki/Robots.txt