Konu
Robots.txt'te yapabileceğiniz bazı yenilikler
03-09-2007, 22:38:01
#5
doink
expires ile sayfanızın işlevselliğini yitirdiğini ve silinebileceğini belirtirsiniz. unavailable_after ile ise googlebotun tekrar tekrar crawler ile indexlemeye çalışmasını engellersiniz. sayfanız silinmez ancak google bot daha fazla crawl yapmaz.