Arkadaşlar selam
wordpress için robots.txt ili bilgi ararken ingilizce bir sitede şöyle bir içerik buldum
WordPress robots.txt file optimized for SEO and Google
Alıntı
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wget/
Disallow: /httpd/
Disallow: /tag
Disallow: /author
Disallow: /i/
Disallow: /f/
Disallow: /t/
Disallow: /c/
Disallow: /j/
User-Agent: Mediapartners-Google
Allow: /
User-Agent: Adsbot-Google
Allow: /
User-Agent: Googlebot-Image
Allow: /
User-Agent: Googlebot-Mobile
Allow: /
Sitemap:
http://www.askapache.com/sitemap.xml
Ayrıca header.php şöyle bir ayar yapılmış bu ayar ne içindir acaba
Alıntı
header.php meta seo trick
Place this in your wordpress themes header.php file, if the page is a single, page, or if its the home page then the robots will index and follow links on it. Otherwise search engines will not index the pages but will still follow the links.
<?php if(is_single() || is_page() || is_home()) { ?>
<meta name="googlebot" content="index,noarchive,follow,noodp" />
<meta name="robots" content="all,index,follow" />
<meta name="msnbot" content="all,index,follow" />
<?php } else { ?>
<meta name="googlebot" content="noindex,noarchive,follow,noodp" />
<meta name="robots" content="noindex,follow" />
<meta name="msnbot" content="noindex,follow" />
<?php }?>
Bu işi bilen arkadaşlar yardımcı olabilirmisiniz Wordpress için bu robots.txt kullandığımızda SEO ve Google Optimize Etmemiş olurmuyuz