robots.txt dosyası ile ilgili biraz bakayım dedim sonra 4 günden beri indexlenmeyen blogumun GOOGLE SİTE MAP (
WordPress › Google XML Sitemaps WordPress Plugins ) tarafından oluşturulan sanal robots.txt dosyasının
User-agent
Disallow: /
oldugunu ve bunun arama motorlarının siteme girmesini engellediğini öğrendim.
robots.txt dosyası ne işe yarar? Acemi Blogcu
ve
robots.txt dosyasınındaki ayarların önemli oldugunu yapılan kısıtlamaların google daki "double content" olayını engellediğini gördüm.
bende örnek bir robots.txt bulmak ümidiyle seoteknikleri.com a girip baktıgımda robots.txt dosyasının
Alıntı
User-agent: Googlebot (ben blogumda burayı "*" olarak bıraktım"
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
gibi oldugunu gördüm bende bunu 2 blogumuda uyguladım.? Acaba doğru mu yaptım, bu konuda bilgili arkadaşların yorumlarını bekliyorum?