Robots.txt ile klasörleri engelleyebiliyorduk. Url bazlı engelleme yapıyor mu bilmiyorum...

Bir araştır istersen robots.txt yi...