robots.txt son dosyamı kaybettim.

01-03-2007, 09:49:52

Merhaba arkadaşlar, r10.net sayfalarının birinde çok güzel bi robots.txt dosya çalışması vardı, birtürlü başlığı bulamıyorum. acaba oradaki gibi bi robots.txt oluşturabilirmiyim :S
Bahsettiğim dosyada msn,google,yahoo isimleri geçiyordu her birine ayrı ayrı izinler hazırlanmıstı

robots.txt içinde
Google Bot
Msn Bot
Yahoo Bot

diyerek sıralıydı

01-03-2007, 17:09:29

#2

ismailll

Tüm Arama Motorlarının İndexlemesi İçin Robots.txt dosyasına Şu kodu Ekle

Bu Yeterlidir

 
User-agent: *
allow: /

07-04-2007, 15:15:31

#3

humpyers

Ne işe yarıyo.

07-04-2007, 19:12:40

#4

Misafir

https://www.r10.net/robots.txt bunu kullanabilirsin.

07-04-2007, 21:07:04

#5

Cenk

robots.txt olunca bir yararı oluyormu fazladan?

08-04-2007, 03:14:30

#6

~~pigeontechs~~

Üyeliği durduruldu

indexlemesini istemediğiniz birşey yoksa gereksiz birşey.

08-04-2007, 17:02:36

#7

emrah.kaya

Misafir adlı üyeden alıntı: mesajı görüntüle

https://www.r10.net/robots.txt bunu kullanabilirsin.

Bunu herhangi bir sitede (blog vs) kullanabilrmiyiz.Yani robot.txt dosyası içeriği kullanılan scripte görö farklılık gösterirmi yoksa her site için kullanılırmı?

08-04-2007, 23:04:44

#8

~~egemens~~

Üyeliği durduruldu

Bu Sayfanda Bulunan Tum Klasorleri Ve Sayfalari Gezmesine Izin Verirsin Botlarin.

User-agent: *
allow: /

--------------------------------

Asagidaki Kod Ile Sayfa Icerisindeki Klasorleri ve Belirledisin Sayfalarin Gezilmasini Engeller Botlarin. Klasor veya Sayfa ismini slash tan sonra yaz.

User-agent: *
Disallow: /images

Mesala Bu Sayfanin resimlerinin Bulundugu klasor diyelim, bot artik images klasorunu gezmiyor :-) ve resimlerin indexlenmiyor,

--------------------------------------------------------
Code Ile Yapmak Istersen Ager:

<meta name="robots" content="index,follow"> = indexlesin ve linklerden devam etsin
<meta name="robots" content="noindex,follow"> = indexlemesin ve linklerden devam etsin
<meta name="robots" content="index,nofollow"> = indexlesin ve linklere gitmesin
<meta name="robots" content="noindex,nofollow"> = indexlemesin = linkleri ziyaret etmesin.

Not: Linkler olarak diger sayfalara verdigniz linkler degil sayfaniz icerisinde bulunan dongu.

content = all | none | directives
all = "ALL"
none = "NONE"
directives = directive ["," directives]
directive = index | follow
index = "INDEX" | "NOINDEX"
follow = "FOLLOW" | "NOFOLLOW"

15-04-2007, 16:04:39

#9

ekonomikhosting

bu dosyayı robotx.txt diye kaydedip direk ftp ye mi atıyoruz