robots.txt kullanıyorsan oradan çağırıyor olabilirsin..