örnek robots.txt dosyası

03-03-2009, 03:29:55

#1

maker

Kimlik doğrulama veya yönetimden onay bekliyor.

içinizde birisi en uygun robots.txt dosya örneği yazabilir mi?

hatta bunu yöneticilerden birisi yapıp sabitlerse herkes için faydalı olabilir diye düşünüyorum.
03-03-2009, 03:34:00

#2

awfulman
kullandığın sisteme göre değiş o
en çok kullanılan
```
User-Agent: *
Allow: /
```
03-03-2009, 03:44:46

#3

LG700
robots.txt dosyası herkesin kendine özgü olur bulunması ideal olanı veriyorum başka kısıtlama yapmak istiyosan ekleme yaparsın.
```
 
User-agent: *
Allow: /
Disallow: /*ref=*
```
03-03-2009, 04:07:36

#4

kralex

Kimlik doğrulama veya yönetimden onay bekliyor.
buda sitemap tanımlı bir robots.txt dosyası
```
User-agent: *
Disallow: /?ref=

Sitemap: http://www.site.org/sitemap_index.xml.gz
```
03-03-2009, 04:49:09

#5

Leo

https://www.r10.net/robots.txt
03-03-2009, 05:05:24

#6

maker

r10'un robots.txt'den

User-agent: HTTrack
Disallow: /

bölümünde. User-agent ne anlama geliyor?
03-03-2009, 05:38:23

#7

awfulman

botların isimleri onlar
24-03-2009, 14:21:41

#8

~~pisagor01~~

Üyeliği durduruldu

Teşekkürler Hocam.