robot.txt - R10.net

11-10-2005, 00:55:08

Gereken fakat bulunmayan URLler (HTTP kodu 404)
/robots.txt 35 hata hit sayısı.
/_vti_bin/owssvr.dll 16 -
/MSOffice/cltreq.asp 16 -
/salla 1

awstats tan aldım.
google robots.txt arıyor mu?
Bunlar dan anlayan varmı?

11-10-2005, 01:12:45

#2

drstranger

Kimlik doğrulama veya yönetimden onay bekliyor.

google robot.txt ye en cok baglı ve sadık robottur. robot.txt dosyası sadece botların girmesini istemediginiz url ler icin kullanılır. baska ozel bi etkisi yoktur.
ancak google dısındakı pek cok bot, (msn yahoo vb ) haric bu txt dosyasını pekde ciddiye almaz!

11-10-2005, 01:32:31

#3

disconnect

35 hata hiti verdiğine göre dedim acaba birşeylermi değişti.
Ben kullanmıyorum robot.txt birden acaba koysam mı diye düşündüm.
Sanırım gerek yok. bu güne kadar bir problem yaşamadım.

/_vti_bin/owssvr.dll 16 -
/MSOffice/cltreq.asp 16 -
Bunların ne olduğunu bilen?

ve buda sanırım biri salla diye klasor varmı? merakını gidermiş.
/salla 1

11-10-2005, 01:35:29

#4

DarK

Kimlik doğrulama veya yönetimden onay bekliyor.

belli bir dizindeki dosyalrı indexlememesi için kullanabilirsin onu.

örnek:

http://www.iyinet.com/robots.txt - mesela /cgi-bin ve /images klosörünün indexlenmesini istememiş.

http://www.google.com/robots.txt - buda googlenin diğer arama motorlarından kendi dosyalarını saklıyor.

11-10-2005, 02:51:23

#5

varyemez

google için gerçekden işe yarıyor...

11-10-2005, 07:46:23

#6

disconnect

işe yarıyorda hangi işe yarıyor. onu söylesen.
indexlenmesini istemediğim sayfam yok benim. O zaman bu robot.txt ne işe yaracak

11-10-2005, 13:42:42

#7

radmin

mesela bir adamla link degiştin ama adam pr falan nedir bilmiyor.pekte umurunda degil yada adam sana reklam verdi onun için önemli olan hit ise
git.php?url=www.domain.com şeklinde linklersin adama verdigin linki ve git.php dosyasınıda robots.txt den blocklarsın.böylece adama pagerank akmamış olur.alt sayfalarına gidecek pagerank adamın sitesine gitmemiş olur.yada ***** yada kumar sitelerine link vermek durumunda kaldın o zamanda bu şekilde kullanabilirsin.Google kumar ve ***** sitelere link veren siteleride sevmez ceza almaktan kurtulursun.

kullanım şekli şu:

User-agent: *
Disallow: /git.php

Birde şöyle bir kullanım şekli var.buda zararlı robotların siteni çalmasına kısmen engel oluyor.acemi webmasterları durdurur yada acemi ziyaretçilerin siteni çalmasını bu programları engeller

User-agent: *
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Teleport Pro
Disallow: /
User-agent: Wget
Disallow: /
User-agent: eCatch
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Vacuum
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: WebCopier v3.2a
Disallow: /
User-agent: WebCapture 2.0
Disallow: /
User-agent: WebCopier v.2.2
Disallow: /

11-10-2005, 18:00:27

#8

~~vardir~~

Üyeliği durduruldu

aynı konu var zaten arkadaşlar robot.txt başlığında açılmış forumda arama yapıp öyle açsanız konuları daha güzel olmaz mı ? https://www.r10.net/showthread.php?t=794

12-10-2005, 00:27:05

#9

disconnect

vardir adlı üyeden alıntı:

aynı konu var zaten arkadaşlar robot.txt başlığında açılmış forumda arama yapıp öyle açsanız konuları daha güzel olmaz mı ? https://www.r10.net/showthread.php?t=794

disconnect adlı üyeden alıntı:

Gereken fakat bulunmayan URLler (HTTP kodu 404)
/robots.txt 35 hata hit sayısı.
/_vti_bin/owssvr.dll 16 -
/MSOffice/cltreq.asp 16 -
/salla 1

awstats tan aldım.
google robots.txt arıyor mu?
Bunlar dan anlayan varmı?

Ama herkez robot.txt e de kaldı