Sitemde şu anda kullandığım robots.txt şu şekilde;
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: feed/rss/$
Disallow: trackback/$
Sitemap: http://www.kurtlarvadisimuzikleri.com/sitemap.xml
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.kurtlarvadisimuzikleri.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
Sitemap:http://www.kurtlarvadisimuzikleri.com/sitemap_5.xml
Sitemde indexlenmesini istemediğim özel bir yer yok...
Rss'leri engellememin sebebi bazı yerlerde google'ın aynı içerikle tekrar karşılığında spam olarak algılayacağı yazmasıdır...
Ayrıca sitemde bugün yazdığım yazı 1 hafta sonra indexleniyor...Bu sorunun robots.txt ile alakası varmıdır? Sizce yukarda belirttiğim şartlardaki robots.txt nasıl olmalı?Yada şöyle sorayım-->Şu anda kullandığım robots.txt yeterlimidir?
Şimdiden mesajlarınız için teşekkür ederim...