Normalde klasörlerinizi indekslememesi gerekir, ancak bir nedenden dolayı indekslemiş.
Eğer sunucunuzun ayarları klasör içerisine girildiğinde eğer o klasörde bir index dosyası yoksa, o klasördeki dosyaları listeleyecek şekilde ayarlanmışsa, google böyle bir klasör yakalamış ve klasör yapısını takip etmiş olabilir.
Benim sitemde bir süre ana klasörde herhangi bir index yoktu, arama motorları google, yandex vs. buradan sitedeki alt klasörleri vs. de indekslemişti, sizin de başınıza böyle bir durum gelmiş olabilir.
WordPress sizin neyi indeksletip, neyi indeksletmeyeceğinizi bilemez, bu nedenle bu konuda bir robot.txt oluşturmaz. Bu web site sahibi olarak sizin işinizdir, bilmiyorsanız, öğrenmek de sizin işiniz. WP önemli klasörlerin içerisine zaten boş bir index.php yerleştirerek onların indekslenmesini engeller, onların dışındaki Klasörlerin nasıl davranacağını siz ayarlamazsanız WP'nin yapabileceği bir şey yok. WP zaten wp-admin ve wp-includes klasörlerinin indekslenmeyeceğine dair bir sanal robots.txt dosyası sunuyor.
Google webmaster tool'a girerek, indekslenmesini istemediğiniz url'leri kaldırabilirsiniz, tabi öncelikle robots.txt dosyanızı nasıl istiyorsanız öyle ayarlayın.