crawl-delay örümceklerin sitedeki dolaşımını hızlandırmak-geciktirmek ya da ne sıklıkla (sn cinsinden) sayfalara erişeceğini belirtmek için kullanılıyor yani Crawl-Delay: x girdiğiniz x değeri ile x saniye sıklığıyla sitenize uğrasın diyorsunuz sunucu trafiğini yememesini daha rahat dolaşmasını yönlendirebiliyorsunuz bir nevi botların.. şunlarada göz gezdirebilirsin crawl ve diğer robots konuları hakkında,
http://yardim.yandex.com.tr/webmaste...robots-txt.xml
https://support.google.com/webmaster...er/48620?hl=tr
https://support.google.com/webmaster...r/156449?hl=tr
http://tr.wikipedia.org/wiki/Robots.txt