robots.txt sadece google bota özgü olan bir dosya olmadığını belirterek, içerisinde kullanılan botlar için kullanılan komutlarıda açıklayıcı olarak yazsaydınız güzel olurdu bence

yinede teşekkürler.