• 15-12-2009, 22:33:11
    #1
    Üyeliği durduruldu

    Arkadaşlar siteme crawl botu geliyor ama sürekli takvimde ne zaman baksam takvimde hergün

    gidiyo geri geliyo 5 dk sonra gene takvimde aralarında bişeymi var çözemedim

    Site Vb Forum
  • 15-12-2009, 22:40:17
    #2
    senin takvim bi işler çeviriyo galiba
  • 15-12-2009, 22:42:50
    #3
    robots.txt dosyanıza
    Şunu ekleyin
    Disallow: /calendar.php
    Bundan sonra takvimde dolanmak yerıne forumun onemli yerlerıne girip indeks almaya başlar
    Eğer bu dosya mevcut değilse oluşturun
    notepad ile boş bir text dosyası açın içine mevcut bılgılerı gırın
    Dosyanın adını robots yapın sitenizin ana dizinine gönderin
    Örnek robots.txt dosyası

    User-agent: *
    allow: /
    Disallow: /?ref=
    Disallow: /admincp/ 
    Disallow: /modcp/
    Disallow: /ajax.php 
    Disallow: /clientscript/ 
    Disallow: /cpstyles/ 
    Disallow: /images/ 
    Disallow: /includes/ 
    Disallow: /install/ 
    Disallow: /subscriptions/ 
    Disallow: /customavatars/ 
    Disallow: /customprofilepics/ 
    Disallow: /announcement.php 
    Disallow: /attachment.php 
    Disallow: /calendar.php 
    Disallow: /cron.php 
    Disallow: /editpost.php 
    Disallow: /faq.php 
    Disallow: /image.php 
    Disallow: /inlinemod.php 
    Disallow: /joinrequests.php 
    Disallow: /misc.php 
    Disallow: /moderator.php 
    Disallow: /newattachment.php 
    Disallow: /newreply.php 
    Disallow: /newthread.php 
    Disallow: /online.php 
    Disallow: /payment_gateway.php 
    Disallow: /payments.php 
    Disallow: /poll.php 
    Disallow: /postings.php 
    Disallow: /private.php 
    Disallow: /profile.php  
    Disallow: /report.php 
    Disallow: /reputation.php 
    Disallow: /search.php 
    Disallow: /sendmessage.php 
    Disallow: /showgroups.php 
    Disallow: /showpost.php 
    Disallow: /subscription.php 
    Disallow: /usercp.php 
    Disallow: /threadrate.php 
    Disallow: /usernote.php
    Disallow: /member_inlinemod.php
    Disallow: /helpcenter/
    Disallow: /ajax.php
    Disallow: /converse.php
    Disallow: /global.php
    Disallow: /helpcenter.php
    Disallow: /announcement.php
  • 15-12-2009, 22:44:46
    #4
    Üyeliği durduruldu
    Çok teşekkürler kardeşim sağolasın



    ugrboz adlı üyeden alıntı: mesajı görüntüle
    robots.txt dosyanıza
    Şunu ekleyin
    Disallow: /calendar.php
    Bundan sonra takvimde dolanmak yerıne forumun onemli yerlerıne girip indeks almaya başlar
    Eğer bu dosya mevcut değilse oluşturun
    notepad ile boş bir text dosyası açın
    Dosyanın adını robots yapın sitenizin ana dizinine gönderin
    Örnek robots.txt dosyası

    User-agent: *
    allow: /
    Disallow: /?ref=
    Disallow: /admincp/ 
    Disallow: /modcp/
    Disallow: /ajax.php 
    Disallow: /clientscript/ 
    Disallow: /cpstyles/ 
    Disallow: /images/ 
    Disallow: /includes/ 
    Disallow: /install/ 
    Disallow: /subscriptions/ 
    Disallow: /customavatars/ 
    Disallow: /customprofilepics/ 
    Disallow: /announcement.php 
    Disallow: /attachment.php 
    Disallow: /calendar.php 
    Disallow: /cron.php 
    Disallow: /editpost.php 
    Disallow: /faq.php 
    Disallow: /image.php 
    Disallow: /inlinemod.php 
    Disallow: /joinrequests.php 
    Disallow: /misc.php 
    Disallow: /moderator.php 
    Disallow: /newattachment.php 
    Disallow: /newreply.php 
    Disallow: /newthread.php 
    Disallow: /online.php 
    Disallow: /payment_gateway.php 
    Disallow: /payments.php 
    Disallow: /poll.php 
    Disallow: /postings.php 
    Disallow: /private.php 
    Disallow: /profile.php  
    Disallow: /report.php 
    Disallow: /reputation.php 
    Disallow: /search.php 
    Disallow: /sendmessage.php 
    Disallow: /showgroups.php 
    Disallow: /showpost.php 
    Disallow: /subscription.php 
    Disallow: /usercp.php 
    Disallow: /threadrate.php 
    Disallow: /usernote.php
    Disallow: /member_inlinemod.php
    Disallow: /helpcenter/
    Disallow: /ajax.php
    Disallow: /converse.php
    Disallow: /global.php
    Disallow: /helpcenter.php
    Disallow: /calendar.php
    Disallow: /announcement.php