robots.txt dosyasınızı paylaşırsanız bakalım.

www.domainadi.com/robots.txt olarak bakabilirsiniz.