robots.txt hakkında

18-09-2007, 05:41:53

TRN

Ya geçen birisi birşey yazmıştı ona mahsuben bende robots.txt ile oynadım

Robots.txt de aşağıya yazacağım kodların avantajları yada dezavantajları varmı?

Alıntı

User-agent: Mediapartners-Google*
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Yahoo! Slurp
Disallow:
User-agent: *
Disallow:

Saygılarımla

18-09-2007, 14:54:44

#2

~~Oturan Boğa~~

Üyeliği durduruldu

Google,
MSN,
Yahoo
ve
Google Mediapartner botlarının sitenin heryerini indexlemesini sağlaması içindir.
İyi güzel hoş.

26-09-2007, 13:03:10

#3

~~ahmet3418~~

Üyeliği durduruldu

peki 100% kaç işe yarar ?

26-09-2007, 13:43:50

#4

KR@LKSK

robots.txt i koymasanda heryeri indexler zaten. robots.txt i indexlenmesini istemediğin yerler için kullanabilirsin. indexlenmene bir + sı yoktur

26-09-2007, 16:13:45

#5

Cenk

mesela /admin/ gibi yerlerin indexlenmesini istemezsen robots.txt den yasaklarsın. eğer sitenin heryerinin indexlenmesini istiyorsan robots.txt ye hiç gerek yok. koymasanda google gelir sadece disallow (indexlenmesine izin vermemek) için kullan.