Bu konunun Google/SEO ile bir alakası yoktur.
şeklinde bir robots.txt dosyası oluşturup ftp ile root dizine atarsınız. eğer indeklenmesini istemediğiniz bir dizin/dosya yoksa.
Alıntı
header.php meta seo trick
Place this in your wordpress themes header.php file, if the page is a single, page, or if its the home page then the robots will index and follow links on it. Otherwise search engines will not index the pages but will still follow the links.
<?php if(is_single() || is_page() || is_home()) { ?>
<meta name="googlebot" content="index,noarchive,follow,noodp" />
<meta name="robots" content="all,index,follow" />
<meta name="msnbot" content="all,index,follow" />
<?php } else { ?>
<meta name="googlebot" content="noindex,noarchive,follow,noodp" />
<meta name="robots" content="noindex,follow" />
<meta name="msnbot" content="noindex,follow" />
<?php }?>
youkarıdaki gibi yaparsanız tekil yazılar, sayfalar ve anasayfa indeksleniyor. Bunun haricinde kategorri arşivleri, aylık arşivler, tag sayfaları indekslenmiyor.
tevsiyem wordpress te sadece permalink ayarlarını yapmanızdır. xml sitemap'ın yanında html sitemap oluşturursanız google ve diğer arama motorları için yararı olacaktır.