mevcut robots.txt nizde google'ın ulaşabileceği ama sizin engellemek isteyebileceğiniz bir şey yok zaten.
wp-admin klasörünü engelleseniz ne olacak şifreli zaten.
sitemap ler webmaster tools'dan ekleniyor, bing'den vs. den hit almıyorsanız ona da gerek yok.
bir sürü botu engellemişsiniz.
10 senelik yabancı siteleri olan bir kardeşiniz olarak bu engellediğiniz botların %90'ından haberim olmadı, bir zararları da olsaydı şimdiye kadar olurdu herhalde.
yanlış indekslenebilen klasörleriniz olduğunda ve indekslenmesinin sizi sıkıntıya sokacağı durumlarda robots.txt yi kullanın. şu haliyle silin gitsin anlamsız. olup olmamasının bir önemi bulunmuyor.
robots.txt ler herkese açık olduğu için çok ziyaret edilen siteler hangi amaçla ve nasıl kullanıyor bu text dosyalarını bir inceleyin :
http://www.haberturk.com/robots.txt http://www.google.com/robots.txt ( search sonuçlarını indeksletmiyor kerata )
http://mashable.com/robots.txt https://moz.com/robots.txt http://www.seohocasi.com/robots.txt
Anlattığınız ve paylaştığınız kadarıyla wp-admin i engelleyenler var.
Sitemapları eklemekte zarar yok.
Engellediğim botlar bir tecrübe paylaşımı sonunda geldiler, dediğiniz gibi bir zararı yok durabilirler diye tahmin ediyorum.
Sonuç olarak dosya kalabalık diyebiliriz ama zararlı bir şey olmadığı kanısına sizin yazınızdan da sonuç çıkararak vardım.
Teşekkürler