All-in-seo ile robots.txt nın ne alakası var anlamadım ?
Robots.txt bir Web sitesınde
kesınlıkle ama kesınlıkle olmalıdır
robots.txt ındexlenmesını ıstemedıgınız sayfaları yasaklamanıza yarar
Wp için Önerilen en iyi robots.txt sudur :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-content/
Disallow: /wp-includes/