robots.txt ile bunu yapabilirsin. Robots.txt yi biraz araştır.