Merhaba,
Arkadaşlar sorunum var robots.txt nasıl olmalıdır.
Webmaster tools uyarı veriyor
Site haritasında robots.txt tarafından engellenen URL'ler bulunuyor. diyor
itemap:
http://buradakentisitemyazıyor.com/sitemap.xml
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow:
disallow içinde bulunan sayfaları engelle komutudur yani bot gelince bu sayfalara bakmadan geç demektir bu uyarı sitemap ile alakalı değil sizin robotstxt de oluşturduğunuz izinle ilgilidir
kısacası googleın tüm sitenizi indexlemesini taramasını istiyorsanız şu kod yeterlidir
;;
User-agent: *
Disallow:
Disallow: /cgi-bin/
bu kod temel dizininiz hariç tüm sayfalarınıza tüm arama motorlarının erişebilmesi maanasına gelir