Allahını Seven Baksın

13-08-2005, 15:05:36

Ya millet kaç yerde okudum gel gör ki şu robot.txt olayını anlamadım. Bazılarının "neyi anladın ki" dediğini duyar gibiyim

Bir kaç sorum var cevaplarsanız sevinirim:::

1- robot.txt sayfası html, php ve asp için gerekli mi? Ya da hepsinde kullanılabilir mi?

2- Bu dosyanın içine ne yazmak gerekiyor?

3- Örnek bi robot.txt dosyasıı nereden bulabilirim?

"Ara bul" diycek olan varsa hiç cvp yazmasın kafamı bozmasın. Çizerim haaaa

13-08-2005, 15:41:56

#2

Skeleton

Okuduğum bir yazıya göre msnbot robots.txt dosyasına önem veriomuş. oluşturması da öyle zor bişi değil zaten. web sayfaların kodları için harcadığımız zamana bakınca bu çok basit bir iş.

örnek robots.txt dosyaları:
http://www.google.com/robots.txt
http://www.microsoft.com/robots.txt
http://www.publish101.com/robots.txt (bu o okuduğum yazıda geçen site)

bu araç ile de dosyaların doğruluğunu kontrol edebilirsin:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

13-08-2005, 18:12:40

#3

~~doganli~~

Üyeliği durduruldu

benim anlamadığım olay
robot.txt gizlemek çin göstermek içinmi ?

misal www.adsensenindeadbriteında.com/robot.txt diye bi dosya olsun
içindede
User-agent: *
Disallow: /2.5_tirilyon_veren_kelimeler/
Disallow: /sifreler.txt/

olsun

hiç yazmasa kim tahmin edecek sifeler.txt dosyasını ?
lamerin biri bu dosyaya bakarak gizlenmek istenen sayfaları göremez mi ?

13-08-2005, 18:17:36

#4

Skeleton

robots.txt sadece iyi niyetli robotların kâle aldığı bir olaydır. erişimi engelleme gibi bir etkisi yoktur. arama motoru robotu eğer iyi niyetli ise nereye girip çıkacağına ev sahibinin (yani sizin) izin verdiğiniz yerlere bakarak karar verir.

13-08-2005, 21:04:29

#5

yozgatlı

Misafir

peki tüm siteyi indexlemesini istiyorsak nasıl birşey yazmalıyız

13-08-2005, 21:52:43

#6

Skeleton

yozgatlı adlı üyeden alıntı:

peki tüm siteyi indexlemesini istiyorsak nasıl birşey yazmalıyız

şunu yazman gerek:

Alıntı

gel vatandaş gel... googlebot ol, yahoo slurp ol, msnbot ol, her ne olursan ol gel

şaka bir yana bu soruyu ciddi sormadın de mi?

14-08-2005, 15:04:51

#7

Guajira

xmlsr adlı üyeden alıntı:

Merhaba gua, robots.txt nerdeyse hiç önemli olmayan bir dosyadır.
ASP,PHP veya bilmem ne ile uzaktan yakından alakası yok, robots.txt adından da anlaşılabileceği gibi arama robotları için bir dosya.

Arama robotu ilk önce geliyor sitene dosyaları indexlemek için, sonra diyor belki bunun gizli saklı,ab-ı hayat veya dünyayı kurtaracak bilgileri vardır, onları indexlememi istemiyordur, e o zaman root içine attığı robots.txt dosyasına şunları yazmıştır.Bakayım hemen der ve

User-agent: *
Disallow: /nasil-zengin-olur/
Disallow: /genclik-iksiri/

bunları görür, e o zaman ben de bu iki klasörü arama sonuçların da göstermiyeyim çünkü istemiyor der.
Bu kadar.

Eyvallah hocam. Vel hasıl-ı Kelam Hiç bulaşmama gerek yokmuş buna yaw.

14-08-2005, 19:31:13

#8

~~orumcek~~

Üyeliği durduruldu

valla kardes robot.txt dosyasi yapmaya gerek yok anladigim bu olmadanda sitelerim indexleniyor. olsada ben yapmadim iyi bi sonuc almak için yapilmasi zorunlu bişeymi ustadlarimiza sorarım..cunku sitemizin gizli bolgeleri kimsenin gormek istemedigi yerleri linklemezsek saten bot o sayfayi indexlemesi biraz zor..

15-08-2005, 01:25:13

#9

~~trichnosis~~

Üyeliği durduruldu

mydeli adlı üyeden alıntı:

valla kardes robot.txt dosyasi yapmaya gerek yok anladigim bu olmadanda sitelerim indexleniyor. olsada ben yapmadim iyi bi sonuc almak için yapilmasi zorunlu bişeymi ustadlarimiza sorarım..cunku sitemizin gizli bolgeleri kimsenin gormek istemedigi yerleri linklemezsek saten bot o sayfayi indexlemesi biraz zor..

senin sitelerden birinin adresini versene