• 13-08-2005, 15:05:36
    #1
    Ya millet kaç yerde okudum gel gör ki şu robot.txt olayını anlamadım. Bazılarının "neyi anladın ki" dediğini duyar gibiyim

    Bir kaç sorum var cevaplarsanız sevinirim:::

    1- robot.txt sayfası html, php ve asp için gerekli mi? Ya da hepsinde kullanılabilir mi?

    2- Bu dosyanın içine ne yazmak gerekiyor?

    3- Örnek bi robot.txt dosyasıı nereden bulabilirim?

    "Ara bul" diycek olan varsa hiç cvp yazmasın kafamı bozmasın. Çizerim haaaa
  • 13-08-2005, 15:41:56
    #2
    Okuduğum bir yazıya göre msnbot robots.txt dosyasına önem veriomuş. oluşturması da öyle zor bişi değil zaten. web sayfaların kodları için harcadığımız zamana bakınca bu çok basit bir iş.

    örnek robots.txt dosyaları:
    http://www.google.com/robots.txt
    http://www.microsoft.com/robots.txt
    http://www.publish101.com/robots.txt (bu o okuduğum yazıda geçen site)

    bu araç ile de dosyaların doğruluğunu kontrol edebilirsin:
    http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
  • 13-08-2005, 18:12:40
    #3
    Üyeliği durduruldu
    benim anlamadığım olay
    robot.txt gizlemek çin göstermek içinmi ?

    misal www.adsensenindeadbriteında.com/robot.txt diye bi dosya olsun
    içindede
    User-agent: *
    Disallow: /2.5_tirilyon_veren_kelimeler/
    Disallow: /sifreler.txt/

    olsun

    hiç yazmasa kim tahmin edecek sifeler.txt dosyasını ?
    lamerin biri bu dosyaya bakarak gizlenmek istenen sayfaları göremez mi ?
  • 13-08-2005, 18:17:36
    #4
    robots.txt sadece iyi niyetli robotların kâle aldığı bir olaydır. erişimi engelleme gibi bir etkisi yoktur. arama motoru robotu eğer iyi niyetli ise nereye girip çıkacağına ev sahibinin (yani sizin) izin verdiğiniz yerlere bakarak karar verir.
  • 13-08-2005, 21:04:29
    #5
    Misafir
    peki tüm siteyi indexlemesini istiyorsak nasıl birşey yazmalıyız
  • 13-08-2005, 21:52:43
    #6
    yozgatlı adlı üyeden alıntı:
    peki tüm siteyi indexlemesini istiyorsak nasıl birşey yazmalıyız
    şunu yazman gerek:

    Alıntı
    gel vatandaş gel... googlebot ol, yahoo slurp ol, msnbot ol, her ne olursan ol gel
    şaka bir yana bu soruyu ciddi sormadın de mi?
  • 14-08-2005, 15:04:51
    #7
    xmlsr adlı üyeden alıntı:
    Merhaba gua, robots.txt nerdeyse hiç önemli olmayan bir dosyadır.
    ASP,PHP veya bilmem ne ile uzaktan yakından alakası yok, robots.txt adından da anlaşılabileceği gibi arama robotları için bir dosya.

    Arama robotu ilk önce geliyor sitene dosyaları indexlemek için, sonra diyor belki bunun gizli saklı,ab-ı hayat veya dünyayı kurtaracak bilgileri vardır, onları indexlememi istemiyordur, e o zaman root içine attığı robots.txt dosyasına şunları yazmıştır.Bakayım hemen der ve

    User-agent: *
    Disallow: /nasil-zengin-olur/
    Disallow: /genclik-iksiri/

    bunları görür, e o zaman ben de bu iki klasörü arama sonuçların da göstermiyeyim çünkü istemiyor der.
    Bu kadar.
    Eyvallah hocam. Vel hasıl-ı Kelam Hiç bulaşmama gerek yokmuş buna yaw.
  • 14-08-2005, 19:31:13
    #8
    Üyeliği durduruldu
    valla kardes robot.txt dosyasi yapmaya gerek yok anladigim bu olmadanda sitelerim indexleniyor. olsada ben yapmadim iyi bi sonuc almak için yapilmasi zorunlu bişeymi ustadlarimiza sorarım..cunku sitemizin gizli bolgeleri kimsenin gormek istemedigi yerleri linklemezsek saten bot o sayfayi indexlemesi biraz zor..
  • 15-08-2005, 01:25:13
    #9
    Üyeliği durduruldu
    mydeli adlı üyeden alıntı:
    valla kardes robot.txt dosyasi yapmaya gerek yok anladigim bu olmadanda sitelerim indexleniyor. olsada ben yapmadim iyi bi sonuc almak için yapilmasi zorunlu bişeymi ustadlarimiza sorarım..cunku sitemizin gizli bolgeleri kimsenin gormek istemedigi yerleri linklemezsek saten bot o sayfayi indexlemesi biraz zor..
    senin sitelerden birinin adresini versene