Robots.txt de geçen komutlardan bahsedelim biraz.
Sitemap: Adından da belli olduğu gibi, sitenizin dizin haritasını belirler. Arama motorlarının botları geldiği zaman bildirir.
Allow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişip bundakileri gönül rahatlığı ile indexleyebilirsin diyor.
Disallow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişemezsin paşam, erişip napıcaksın indexlenmesin istiyorum benim malım bende kalsın diyor.
User-agent: (Bot ismi) : Bu komut ile de istediğimiz arama motorunun botuna istediğimiz izni verebiliyoruz. Bu sayede botlar uzun uzun uğraşmaktansa listeden kendi adına bakıyor neler yapabilir görüyor, işini halledip gidiyor.
Azıcıkta botlardan bahsedelim.
Ninjabot : Google dan görsel açı harici pek farkı yoktur, bazı öncelikleri vardır temel yapı olarak google ile birebir aynı diyebiliriz, zaten google'ın logosunu kıyıda köşede bir yerlerde görürsünüz bu arama motorunda. Bu arama motorunu genellikle webmasterlar kullanır ben zamanında çok kullandım hala kullanan vardır bir faydası olur belki diye robots.txt' me ye ekledim.
Googlebot : Sitemizde ki yazıları, sayfaları tarar
Googlebot-Mobile : Mobil kullanıcılar için yazıları, sayfaları tarar
Googlebot-Image : Google görseller için sitemizde ki resimleri tarar
Mediapartners-Google : Sitenizde yayınlanan adsense reklamlarının içeriğini belirlemek için sitemizi tarar
Adsbot-Google : AdWords açılış sayfası kalitesini ölçmek için sayfaları tarar.
WordPress için en iyi Robots.txt yi görüntülemek için tıklayın.
Bende uzun süren uğraşlar sonucu böyle bir robots.txt düzenledim, google webmastertoolsa anca böyle beğendirebildim.