Robots.txt engellemek yerine 503 Kodunu bütün domainde döndürebilirsin.