Bu Sayfanda Bulunan Tum Klasorleri Ve Sayfalari Gezmesine Izin Verirsin Botlarin.

User-agent: *
allow: /

--------------------------------

Asagidaki Kod Ile Sayfa Icerisindeki Klasorleri ve Belirledisin Sayfalarin Gezilmasini Engeller Botlarin. Klasor veya Sayfa ismini slash tan sonra yaz.

User-agent: *
Disallow: /images

Mesala Bu Sayfanin resimlerinin Bulundugu klasor diyelim, bot artik images klasorunu gezmiyor :-) ve resimlerin indexlenmiyor,

--------------------------------------------------------
Code Ile Yapmak Istersen Ager:

<meta name="robots" content="index,follow"> = indexlesin ve linklerden devam etsin
<meta name="robots" content="noindex,follow"> = indexlemesin ve linklerden devam etsin
<meta name="robots" content="index,nofollow"> = indexlesin ve linklere gitmesin
<meta name="robots" content="noindex,nofollow"> = indexlemesin = linkleri ziyaret etmesin.

Not: Linkler olarak diger sayfalara verdigniz linkler degil sayfaniz icerisinde bulunan dongu.

content = all | none | directives
all = "ALL"
none = "NONE"
directives = directive ["," directives]
directive = index | follow
index = "INDEX" | "NOINDEX"
follow = "FOLLOW" | "NOFOLLOW"