Web yöneticisi araçlarına girdiğinde Robots.txt ile ilgili bir bölüm olması lazım. Oradan direk engelleyeceğin url'leri girip, olması gereken hali ile indirebilirsin robots.txt'nin.