• 08-12-2021, 22:00:11
    #1
    Merhaba.
    Daha önce bu konuyu hiç önemsemezdim ancak belli bir süre geçtikten sonra birtakım sitelerin botları sitemizi tarıyor ve istemediğimiz kalitesi düşük listelere bizi ekliyorlar. Sonra bakıyoruz dünya kadar pw siteden link almışız.
    El birliği ile düzgün bir robots.txt düzenlesek çok faydalı olur.
    Şu an yabancı kaynaklarda araştırmalar yapıyorum. En ideal bilgilere ulaşınca buradan paylaşacağım.
    Belki bu forumda bu konuda daha önce çalışma yapmış olanlar olabilir.

    Popüler bloglara baktım wpbeginner gibi hiç extra birşey yapmamışlar.
    Takip etiğim bir bloğun robots dosyasını paylaşacağım.

    Amacım en ideal dosyayı hazılamak.
    Belki dünya üzerinde en popüler 5 arama motoruna izin verip diğerlerini engelleyebiliriz bilemiyorum.


    User-agent:  *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /linkout/
    Disallow: /recommended/
    Disallow: /comments/feed/
    Disallow: /trackback/
    Disallow: /index.php
    Disallow: /xmlrpc.php
    
    User-agent: NinjaBot
    Allow: /
    
    User-agent: Mediapartners-Google*
    Allow: /
    
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/
    
    User-agent: Adsbot-Google
    Allow: /
     
     
    User-agent: Googlebot-Mobile
    Allow: /
    
    User-agent: MJ12bot
    Disallow: /     
    User-agent: SemrushBot
    Disallow: /
    User-agent: SemrushBot-SA
    Disallow: /
    User-agent: SemrushBot-BA
    Disallow: /
    User-agent: SemrushBot-SI
    Disallow: /
    User-agent: SemrushBot-SWA
    Disallow: /
    User-agent: SemrushBot-CT
    Disallow: /
    User-agent: dotbot
    Disallow:/ 
    User-agent: AhrefsBot
    Disallow: /
    User-agent: Alexibot
    Disallow: /
    User-agent: SurveyBot
    Disallow: /
    User-agent: Xenu’s
    Disallow: /
    User-agent: Xenu’s Link Sleuth 1.1c
    Disallow: /
    User-agent: rogerbot
    Disallow: /
    
    # Block NextGenSearchBot
    User-agent: NextGenSearchBot
    Disallow: /
    # Block ia-archiver from crawling site 
    User-agent: ia_archiver
    Disallow: /
    # Block archive.org_bot from crawling site
    User-agent: archive.org_bot
    Disallow: /
    # Block Archive.org Bot from crawling site
    User-agent: Archive.org Bot
    Disallow: /
    
    # Block LinkWalker from crawling site
    User-agent: LinkWalker
    Disallow: /
    
    # Block GigaBlast Spider from crawling site
    User-agent: GigaBlast Spider
    Disallow: /
    
    
    # Block ia_archiver-web.archive.org_bot from crawling site
    User-agent: ia_archiver-web.archive.org 
    Disallow: /
    
    
    # Block PicScout Crawler from crawling site 
    User-agent: PicScout
    Disallow: /
    
    
    # Block BLEXBot Crawler from crawling site 
    User-agent: BLEXBot Crawler
    Disallow: /
    
    # Block TinEye from crawling site 
    User-agent: TinEye
    Disallow: /
    
    
    # Block SEOkicks
    User-agent: SEOkicks-Robot
    Disallow: /
    
    # Block BlexBot
    User-agent: BLEXBot
    Disallow: /
    
    # Block SISTRIX
    User-agent: SISTRIX Crawler
    Disallow: /
    
    # Block Uptime robot
    User-agent: UptimeRobot/2.0
    Disallow: /
    
    # Block Ezooms Robot
    User-agent: Ezooms Robot
    Disallow: /
    
    
    # Block netEstate NE Crawler (+http://www.website-datenbank.de/)
    User-agent: netEstate NE Crawler (+http://www.website-datenbank.de/)
    Disallow: /
    
    # Block WiseGuys Robot
    User-agent: WiseGuys Robot
    Disallow: /
    
    # Block Turnitin Robot
    User-agent: Turnitin Robot
    Disallow: /
    
    # Block Heritrix
    User-agent: Heritrix
    Disallow: /
    
    # Block pricepi
    User-agent: pimonster
    Disallow: /
    User-agent: Pimonster
    Disallow: /
    User-agent: Pi-Monster
    Disallow: /
    
    # Block Eniro
    User-agent: ECCP/1.0 (search@eniro.com)
    Disallow: /
    
    
    # Block Psbot
    User-agent: Psbot
    Disallow: /
    
    # Block Youdao
    User-agent: YoudaoBot
    Disallow: /
    
    # BLEXBot
    User-agent: BLEXBot
    Disallow: /
    
    # Block NaverBot
    User-agent: NaverBot
    User-agent: Yeti
    Disallow: /
    
    
    # Block ZBot
    User-agent: ZBot
    Disallow: /
    
    # Block Vagabondo
    User-agent: Vagabondo
    Disallow: /
    
    # Block LinkWalker
    User-agent: LinkWalker
    Disallow: /
    
    # Block SimplePie
    User-agent: SimplePie
    Disallow: /
    
    # Block Wget
    User-agent: Wget
    Disallow: /
    
    # Block Pixray-Seeker
    User-agent: Pixray-Seeker
    Disallow: /
    
    # Block BoardReader
    User-agent: BoardReader
    Disallow: /
    
    
    # Block Quantify
    User-agent: Quantify
    Disallow: /
    
    # Block Plukkie
    User-agent: Plukkie
    Disallow: /
    
    # Block Cuam
    User-agent: Cuam
    Disallow: /
    
    # https://megaindex.com/crawler
    User-agent: MegaIndex.ru
    Disallow: /
    
    User-agent: megaindex.com
    Disallow: /
    
    User-agent: +http://megaindex.com/crawler
    Disallow: /
    
    User-agent: MegaIndex.ru/2.0
    Disallow: /
    
    User-agent: megaIndex.ru
    Disallow: /
    Özellikle şu saçma listeleme sitelerine habersiz eklendiğimiz için oldukça mutsuzum. Şimdi disallow diyenler olabilir ama bunu çok kullanmak istemiyorum.

    Yorumlar ve katkılar için teşekkürler.
  • 09-12-2021, 00:16:37
    #2
    KOZBA.NET
    Müthiş bir paylaşım olmuş, emeğinize sağlık fakat değeri ne kadar bilinir orası ayrı bir konu.
    Saçma dizin sitelerine eklenmek gerçekten sinir bozucu, Search Console birçoğunu kabul etmiyor fakat ettiği kaynaklarda maalesef var.

    Örneğin;

    domain:wecript.org
    domain:siteprice.org
    domain:sitelike.org
    domain:rankmaker.pw
    domain:seotop.pw
    domain:worldweb.pw

    Bunlar Search Bağlantılarda gözüken ve benim engellediğim dizin siteleri.
    Ahrefs veya Semrush'da gözüken bağlantılar ise bunun 10 katı.
    Google'ın bu konuda biraz daha yol alması gerekiyor.
  • 12-12-2021, 18:12:37
    #3
    @Messi; konularınızı takip ediyorum. Faydalı bilgi paylaşımınız için teşekkürler
    • Messi
    Messi bunu beğendi.
    1 kişi bunu beğendi.
  • 12-12-2021, 20:03:42
    #4
    Selamlar,

    Böyle bir hata alıyorum, konusu üzerine denk geldi neden olabilir sizce? User (U) önüne boşluk yok ancak hata veriyor anlamadım

  • 12-12-2021, 20:26:19
    #5
    cloudflare Sistemi bu konuda güvenlik sağlıyor olabilir tam araştırmadım
  • 01-09-2022, 09:39:33
    #6
    Güncel mi?
  • 01-09-2022, 11:41:46
    #7
    Cloudflare super bot fight mode ile botlara veda edebilirsiniz. Güncel olan en iyi çözüm bu.
  • 29-10-2022, 10:14:12
    #8
    Bunu yaptıktan sonra Google botunun da gelmemesi, dosyada sorun yok. Googledan check edince de bota engel olmadığı görülüyor fakat 2 gün önce robots dosyasını güncelleyince bot gelmez oldu. Bilginiz var mı?