Robots.txt den anlayan

Arkadaşlar smf forum siteme sitemap hazırladım ancak bunu google a verirken robots.txt tarafından kısıtlanan URL
Site Haritanıza erişmeye çalışırken bir hatayla karşılaştık. Lütfen Site Haritanızın yönergelerimize uygun ve belirttiğiniz yerde erişilebilir olmasını sağlayın ve yeniden gönderin.şeklinde uyarı alıyorum ve sitemapi gönderemiorum ne yapmam gerek bilgisi olan varsa paylaşırsa sevinirim ayrıca hazırladığım site map dizini www.siteadi.com/smf/sitemap.xml şeklinde..Teşekkürler şimdiden..

robots.txt dosyasinin icerigi nasil yazarsan belki yardim cikabilir diye düsünüyorum, engelleme falan olabilir belkide.

kardeş ben yardımcı oluyum bu konuda sana sorun nedir ?

User-agent: *
allow: /
Disallow: /radyo/radyositesi
Disallow: /sohbet.html
Disallow: /smf


robots.txt içeriği bu şekilde arkadaşlar umarım çözebiliriz

Disallow: /smf bunu silin, smf dizinini komple engellemişsiniz.

/sohbet.html Bu Kısmıda Engelemişsiniz Bot oraya Girmeyecek Yani o Bölümü İndexlemeyecek Umarım Bunun farkındasındır
Smf için ise Zaten lafolsun nickli arkadaş cevabını vermiş

User-agent: *

bu yeterli hit hitdir bırak robotlar gezsin sitende

sitemap'ini webmaster tools'tan eklersen daha iyi olur.
http://www.google.com/webmasters/tools

ayrıca robots.txt 'e

Sitemap: /smf/sitemap.xml

şeklinde ekleyebilirsin.

Robots.txt dosyası duplicate content diye adlandırılan sayfalar için muhteşemdir.Ve onun için kullanılmalıdır. Misal olarak sitelerinde mod_rewrite kullananların çoğu şöyledir. index.php?topic=2 >> konu2.html
İlkini robots.txt ile yasaklamak gerekir. Ayrıca robotlarının görmemesi gereken bazı sayfalara engel koymak gerekir. Örneğin üye kayıt sayfaları, üye profil sayfaları, etiketleme sayfaları vb gibi.