Robots.txt konusunda yardımcı olabilir misiniz site map ekli.