Bu örnek, bütün dosyaları ziyaret etmesi için bütün robotlara izin verir. Çünkü bu işaret "*" bütün robotları belirtir.
User-agent: *Disallow:
Bu örnek ise, bütün arama robotlarını siteden uzak tutar.
User-agent: *
Disallow: /
robotx.txt dosyası için daha fazla bilgi
,Robots Exclusion Standard - Wikipedia, the free encyclopedia
Size yardımcı olucak bölüm yukarıdadır. Araştırarak öğrenmek en iyisidir
