Çok fazla robots.txt kurallarına hakim değilim ama şuradan test edebilirsin. https://www.google.com/webmasters/to...s-testing-tool