robots.txt ile dizin veya dosya bazlıdır, kelime için bi şey yapamazsın.
söyle bir dosya hazırlayabilirsin.
[QUOTE]
Alıntı
User-agent: *
Disallow: /izinyokdizini/
dizini komple yasaklamak için önce
Alıntı
User-agent: Bot adı ne ise
Disallow: /meyveler
dizin içindeki elma sayfasına izin vermek için
Alıntı
User-agent: Bot adı ne ise
Allow: /meyveler/elma.html
gibi.
internette bir doküman var, özellikle ingilizcen varsa hemen hemen her şeyin cevabını bulabilirsin. bu tarz konuları buraya açmayın lütfen.