robots.txt sadece google bota özgü olan bir dosya olmadığını belirterek, içerisinde kullanılan botlar için kullanılan komutlarıda açıklayıcı olarak yazsaydınız güzel olurdu bence
yinede teşekkürler.
Tabii ki, zaten o yüzden Google'de inceledim. Google bile robots.txt kullandığına göre başka robotlarda olduğu fikirni çıkartabiliriz.