Evet tüm botlar, tüm siteyi tarayabilir demiş oluyorsunuz.

Ek bir bilgi olarak bu siteyi kullanarak robots.txt ve diğer konularda testler yapabilirsiniz.