robotx.txt hazırlama

merhaba arkadaşlar

robotx.txt içerisinde kelime nasıl yasakların

örnek mesela forumum var ve robotx.txt ile program kelimesini aramalara yasaklayacağım veya birden fazla kelime daraltarak delphi,basic,c++ bu 3 kelimeyi yasaklamak istiyorum

kelime yanısıra forumda bir katagoriyi yasaklamak ve oraya taşınan tüm konuların ne olursa olsun konu linklerinin yasaklanması aynı konudan 2-3 veya 10 tane forumda olabilir ama bir katagori altındakileri yasaklayıp diğerlerini serbest bırakmak....

örnek verebilecek arkadaşım varmı ??

robots.txt ile dizin veya dosya bazlıdır, kelime için bi şey yapamazsın.

söyle bir dosya hazırlayabilirsin.
[QUOTE]
dizini komple yasaklamak için önce

dizin içindeki elma sayfasına izin vermek için
gibi.

internette bir doküman var, özellikle ingilizcen varsa hemen hemen her şeyin cevabını bulabilirsin. bu tarz konuları buraya açmayın lütfen.

User-agent: *
Disallow: /*kelime*

bu şekilde eklersen o kelimenin geçtiğin url bağlantılar indexlenmez. daha ayrıntılı istersen hangi kategorinin indexlenmesini istemiyorsan aşağıdaki kodu kendi sitene göre uyarlayabilirsin.

<meta name="robots" content="noindex" />

emin misiniz?
* joker karakter sadece User-agent: satırında geçerlidir. Disallow: satırında joker kullanamazsınız.

eminim hocam. aynen bu şekilde kullanabiliyorsunuz.

http://www.searchenginepromotionhelp...ts-checker.php

bu sayfa gidip, şu basitçe kodu check edin isterseniz,

onaylanmıyor, wilcard karakterler.

fakat https://www.google.com.tr/robots.txt burada google kendi robot dosyasında wilcard karakterleri kullanıyor.

check etmeye gerek yok hocam. uzun yıllardır bu şekilde kullanıyorum webmaster tools aracılığı ile incelediğimde o sayfaların hiç biri indexlenmiyor ve google bunu zaten bize söylüyor.

http://support.google.com/webmasters...&answer=156449

teşekkürler deniyelim sonuclara bakalım
hazırladığım burada