• 08-11-2008, 10:55:26
    #1
    Merhabalar;
    R10.net üzerinde bir araştırma yaptıktan sonra robots.txt adına fazla bir döküman olmadığını görerek sizlere yardımcı olmak adına bu makale tarzı başlığı açmak istedim...

    Öncelikle başlığın içeriği; robots.txt nedir, robots.txt ne işe yarar, robots.txt üzerinde kullanılabilecek komutlar gibi bilgiler yer almaktadır.

    Robots.txt nedir?

    Robots.txt 'yi basitçe anlatmak gerekirse; "rehber" sözcüğünü kullanmak sanırım yanlış olmayacaktır. Çünkü robots.txt, bot'ların sitenizi crawl'lamak için geldiği zaman ne yapacaklarını yada ne yapmayacaklarını (neleri indexlemeleri gerektiğini, nereleri indexlememeleri gerektiğini) gösterecektir. Kısaca tur rehberi olarak nitelendirilebilir.

    Robots.txt ne işe yarar?

    Robots.txt, bot'lar sitenize crawl için geldiği zaman, sizlerin belirlediği yerleri crawl edip, etmemek konusunda Robots.txt ihtiyaç duyarlar. Robots.txt içerisinde sizlerin belirlediği komutları algılayarak crawl'lama işlemine başlarlarlar. Eğer Robots.txt'nizde bir sorun varsa, bu sorun crawl'lama işlemine yansıyacaktır ve siteniz crawl edilmeyecektir. Robots.txt dosyası oluşturuluktan sonra alanınızın kök dizinine kayıt edilmesi gerekmektedir (Genellikle httpdocs yada www klasörüdür). Yanlış bir yere kayıt ederseniz bot'lar bulamayacaktır.

    Robots.txt nasıl oluşturulur?

    Robots.txt dosyasını oluşturmak oldukça kolaydır ancak gerekli komutların ve düzgün yazılması mutlaktır. Yapacağınız en ufak bir yazım yanlışı dosyanızın çalışmamasına neden olacaktır. Robots.txt oluşturmak için basit bir editör (Notepad, Wordpad, Word v.b) kullanabilirsiniz. Örnek olarak Notepad'i ele alacak olursak, Notepad'i açtıktan sonra içerisinde yazmak istediğimiz komutları sıralamamamız gereklidir.

    Örnek:
    User-Agent: *
    Allow: /
    Örnekteki gibi kullanacağımız komutları yazdıktan sonra; metnimizi Robots.txt olarak kayıt etmeliyiz.

    Önemli not: Google Robots.txt dosyasınının küçük harflerle yazılmasını öneriyor!

    Robots.txt içerisinde kullanılabilecek komutlar nelerdir?

    Robots.txt içerisinde kullanmamız gereken en temel 3 başlık vardır bunlar; User-agent, Allow ve Disallow 'dur.

    User-agent: User-agent belirli bir botu belirlemek için kullanılır, örnek olarak;
    User-agent: * (Yıldız) kullanımı tüm botları simgeler,
    User-agent: Googlebot (Googlebot) kullanımı sadece googlebot'unu simgeler.

    Disallow: Disallow kullanımı sitenizin indexlenmemesini istediğiniz bölümleri belirtmeniz için kullanılan bölümdür.

    Örnek:

    Disallow: / (/ - Eğik çizgi) sitenizin tamamının index'lenmesinin istemediğinizi,
    Disallow: /engellenmeyi_istedigimiz_sayfa.html ise sadece indexlenmemesini istemediğimiz sayfayı belirtir.
    Önemli not: Google; Disallow komut satırının / (Eğik çizgi) ile başlamasını öneririr.

    Allow: Allow komutu bot'ların sayfanızın hangi kısımlarının indexlenmesi gerektiğini belirler. Genellikle; Allow : / olarak kullanılır ki bu; tüm sayfalarınızın indexleneceği anlamına gelir.

    Örnek:

    User-agent: *
    Allow: /
    şeklinde kullanılır.

    Robots.txt dosyası içerisinde kullanabilecek diğer komutlar:

    Alıntı
    • Sitenin tamamını engellemek için düz eğik çizgi kullanın. Disallow: /
    • Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun. Disallow: /engelenecek_klasor/
    • Bir sayfayı engellemek için o sayfayı listeleyin. Disallow: /engellenecek_sayfa.html
    • Belirli bir görseli Google görsel aramasından kaldırmak için şunları ekleyin: User-agent: Googlebot-Image
      Disallow: /resimler/engellenecek_resim.jpg
    • Sitenizdeki görsellerin tümünü Google görsel aramasından kaldırmak için: User-agent: Googlebot-Image
      Disallow: /
    • Belirli bir dosya türündeki dosyaları (örneğin, .gif) engellemek için şunları kullanın: User-agent: Googlebot
      Disallow: /*.gif$
    • Sitenizdeki sayfalarda AdSense reklamları görüntülemeye devam ederken bu sayfaların taranmasını engellemek için Mediapartners-Google dışındaki tüm botları engelleyin. Bu, sayfaların arama sonuçlarında görünmesini engellemekle birlikte Mediapartners-Google robotunun gösterilecek reklamları belirlemek üzere sayfaları analiz etmesine olanak sağlar. Mediapartners-Google robotu, sayfaları diğer Google user-agent'ları ile paylaşmaz. Örneğin: User-agent: *
      Disallow: /klasor1/

      User-agent: Mediapartners-Google
      Allow: /klasor1/
    • Bir karakter sırasıyla eşleşmek için yıldız (*) kullanabilirsiniz. Örneğin, özel ile başlayan tüm alt dizinlere erişimi engellemek için: User-agent: Googlebot
      Disallow: /private*/
    • Soru işareti (?) içeren tüm URL'lere erişimi engellemek için (daha açık belirtmek gerekirse, alan adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'leri taramasını engellemek için): User-agent: Googlebot
      Disallow: /*?
    • URL sonu eşlemeyi belirtmek için $ karakterini kullanın. Örneğin, .xls ile biten tüm URL'leri engellemek için: User-agent: Googlebot
      Disallow: /*.xls$ Bu dize kalıbı eşlemesini, Allow yönergesiyle birlikte kullanabilirsiniz. Örneğin, ? bir oturum kimliğini gösteriyorsa bu öğeleri içeren tüm URL'leri dışlayarak Googlebot'un aynı sayfaları taramasını önleyebilirsiniz. Ancak ? ile biten URL'ler, eklenmesini istediğiniz sayfanın sürümü olabilir. Bu durumda, robots.txt dosyanızı aşağıda gösterildiği biçimde ayarlayabilirsiniz:
      User-agent: *
      Allow: /*?$
      Disallow: /*? Disallow: / *? yönergesi, ? içeren URL'lerin tümünü engeller (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'lerin tümünü engeller).
      Allow: /*?$ yönergesi, ? ile biten tüm URL'lere izin verir (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından bir dize ve bir ? gelen ve ? işaretinden sonra hiç karakter içermeyen URL'lerin tümüne izin verir).
    URL'ler büyük/küçük harfe duyarlıdır. Örneğin, Disallow: /private_file.asp http://www.example.com/junk_file.asp sayfasını engeller ancak http://www.example.com/Junk_file1.asp sayfasına izin verir.

    Umarım bu bilgilerle sizlere bi nebze yardımcı olabilirim. Sorularınız ve önerilerinizi her zaman için bekliyorum. Hatalarım olduysa affola.
    Yanlış yere başlığı açmış olabilirim, eğer yanlış bölümdeyse, doğru bölüme taşınmasını rica ederim.

    NOT: Bu makale tarafımdan; http://www.google.com, http://www.robotstxt.org adresinden yararlanarak hazırlanmıştır. Her ne kadar alıntı yaparak kullanılmasını istemesemde Copy/Paste yaparak kendine yontacaklar olacağı için, çalın, çırpın, sayfanızda yayınlayın hitiniz artsın demek istiyorum.
    Saygılarımla.
  • 08-11-2008, 11:56:47
    #2
    Üyeliği durduruldu
    teşekkürler güzel paylaşım.
  • 08-11-2008, 19:11:04
    #3
    50 gösterim; 1 mesaj, 0 teşekkür...

    Teşekkürler
  • 08-11-2008, 19:33:09
    #4
    Yeri gelmişken sormak istiyorum...

    Sitemde diyelimki yüzlerce şu şekilde link var...
    siteadi.com/video-ayyildiz.html
    siteadi.com/video-r10.html
    siteadi.com/video-sanane.html
    siteadi.com/video-banane.html

    şeklinde linklerden yüzlerce var..

    ben bunları nasıl engelleyebilirim. Meselea
    siteadi.com/video- şeklinde başlayan tüm linkleri engellemek istiyorum. Fikriniz?
  • 08-11-2008, 20:19:23
    #5
    kacar82 adlı üyeden alıntı: mesajı görüntüle
    Yeri gelmişken sormak istiyorum...

    Sitemde diyelimki yüzlerce şu şekilde link var...
    siteadi.com/video-ayyildiz.html
    siteadi.com/video-r10.html
    siteadi.com/video-sanane.html
    siteadi.com/video-banane.html

    şeklinde linklerden yüzlerce var..

    ben bunları nasıl engelleyebilirim. Meselea
    siteadi.com/video- şeklinde başlayan tüm linkleri engellemek istiyorum. Fikriniz?
    Makalenin içerisindede bulunuyor aslında ama, ben sorunun cevabını vereyim.
    video ile başlayan tüm dosyalarını engellemek istersen kullanman gereken kod:

    Disallow: /video*.html/
    yukardaki gibidir. Uzantıları ne ise ona göre değiştir ben örnek vermek için html kullandım.
  • 08-11-2008, 20:35:26
    #6
    Teşekkür ederim dostum bilgi arşivime ekliyorum.Emeklerine sağlık
  • 08-11-2008, 21:02:47
    #7
    Güzel bilgilerdi, emek verip hazırladığınız için teşekkürler.
  • 08-11-2008, 21:07:16
    #8
    Güzel paylaşım. Rep'ledim
  • 08-11-2008, 21:11:40
    #9
    Üyeliği durduruldu
    gerçekden çok gerekli bir bilgi olmuş, seo optimizasyonu diye sitelere sitemap ve robots.txt yapıp gönderen ve yüzlerce lira alan 'Sivri' zekalar var sağol dostum eline sağlık.