Botlara ekstra rule'lar girerek kesinlikle izin vermelisiniz.
Belirli botların User Agent'larına bakın.