Bot. Kolay şekilde Dökümanlardan ".htacccess" üzerinden de engelleyebilirsiniz . Robots.txt pek takmazlar