yaw ne zmandır buna aklım takılıyordu. hiç robot txt kullanmadığım için çözümü bulamıyordum. şimdi sanırım buldum.
Alıntı
User-agent: xxx (Botun İsmi) [yahoo veya diğer gereksiz arama motorlarının botlarının ismi]
Disallow: /cgi-bin/ (Klasör İsmi)
Disallow: /tmp/ (Klasör İsmi)
bu kodu robot.txt ye yazıyoruz. böylece bu bot bu klasörlere giremio. sanırım böyle bir şey daha robot.txt yi pek fazla incelemedim ama yanlış olmaması lzm.