Şu an kullandığım robots.txt:
Sitemap: http://www.barakli.net/sitemap.xml.gz Sitemap: http://www.barakli.net/sitemap_index.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /archives/ Disallow: /trackback/ Disallow: */trackback/ Disallow: /comments/feed/ Disallow: /comments/ Disallow: */comments/ Disallow: /*? disallow: /*?* Disallow: *?replytocom Disallow: /xmlrpc.php Disallow: /wp-* Disallow: /author Disallow: /*ref=* Disallow: /*?ref=* Disallow: /?ref=* Allow: /wp-content/uploads/ User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: duggmirror Disallow: / User-agent: ia_archiver Disallow: /
Kullanmayı düşündüğüm robots.txt:
Sitemap: http://www.barakli.net/sitemap.xml Sitemap: http://www.barakli.net/sitemap_index.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-content/uploads/ Disallow: /wp-content/ Disallow: /readme.html Disallow: /refer/ Disallow: /trackback/ Disallow: */trackback/ Disallow: /feed/ Disallow: */feed/ Disallow: /comments/ Disallow: */comments/ Disallow: /comments/feed/ Disallow: /archives/ Disallow: /page/ Disallow: /tag/ Disallow: /category/ Disallow: /*? disallow: /*?* Disallow: *?replytocom Disallow: /xmlrpc.php Disallow: /index.php Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.css$ Disallow: /wp-* Disallow: /author Disallow: /*ref=* Disallow: /*?ref=* Disallow: /?ref=* User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ Disallow: /wp-includes/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: duggmirror Disallow: / User-agent: ia_archiver Disallow: /1. sorum: Google Webmasters'ta robots.txt tester özelliğini kullandığım zaman:
Resimdeki X işaretinin üzerine geldiğim zaman "Syntax not understood" yazıyor. Bu sorunu internette araştırdım. Bulduğum şeylerde açıkçası herhangi birşey önerilmemiş. Kontrol ettiğim zaman sitemapın çalıştığını görebiliyorum. Acaba sorun ne olabilir? Ayrıca diyebilirsiniz ki neden 2 tane sitemap var. Şöyleki birisi Yoast SEO eklentisine ait, diğeri google sitemap eklentisine ait. Önceden google xml sitemap eklentisini kullandım uzun süre. Herhangi bir hata yoktu. Sonra yoast eklentisini kurunca onun sitemap özelliğini kullanmaya başladım ve diğer google xml eklentisini sildim. Sadece Yoast eklentisinin sitemapını kullanırken bu hata başladı. Bugün diğer google xml sitemap eklentisini tekrar kurdum. Şu anda hem o eklenti hem de yoastın sitemap özelliğini kullanıyorum. URL'leri farklı. Bilmiyorum çakışma olur mu? Tek başına yoastın sitemapını kullanırken onun yanında kırmızı nokta vardı. Şimdi ise google xml sitemap eklentisinin oluşturduğu sitemapın yanında kırmızı nokta var. Yoastınkinde yok. Garip bir problem gibi geldi bana.
2. sorum: Genel olarak kullanmak istediğim robots.txt hakkında olacak. Kullanmayı düşündüğüm robots.txt dosyasını yukarıda paylaştım. Bu dosyayı internette okuduğum makalelere göre oluşturdum. Hepsini birleştirdim diyebilirim. Aşağı yukarı komutları anladım. Bunda sıkıntı yok. Makaleler nispeten eskiydi türk sitelerinde. Ybancı sitelerden şuna rastladım:
https://perishablepress.com/wordpress-robots-rules/
Tüm makalelerde wp-includes ve wp-content disallow olması gerektiği yazıyordu türk sitelerinde. Benim de kullanmayı düşündüğüm şablonda öyle dikkat ederseniz. Ancak yukarıdaki linkte google'ın bir güncelleme yaptığı yazıyor.
javascript ve css'nin çalışması için
Disallow: /wp-content/
Disallow: /wp-includes/
bunların olmaması gerektiği yazıyor. Sizce bunları nasıl düzenlemeliyim?
Aşağıdaki robots.txt yeterliymiş onlara göre:
User-agent: * Disallow: /wp-admin/ Disallow: /trackback/ Disallow: /xmlrpc.php Disallow: /feed/ Sitemap: http://example.com/sitemap.xmlYeni güncellemeden sonra aşağıdakilerin de kaldırılması gerektiği söylenmiş:
User-agent: * Disallow: /mint/ Disallow: /labs/ Disallow: /*/wp-* Disallow: /*/feed/* Disallow: /*/*?s=* Disallow: /*/*.js$ Disallow: /*/*.inc$ Disallow: /transfer/ Disallow: /*/cgi-bin/* Disallow: /*/blackhole/* Disallow: /*/trackback/* Disallow: /*/xmlrpc.php Allow: /*/20*/wp-* Allow: /press/feed/$ Allow: /press/tag/feed/$ Allow: /*/wp-content/online/* Sitemap: https://perishablepress.com/sitemap.xml User-agent: ia_archiver Disallow: /Siz ne düşünüyorsunuz?