robots.txt dosyası aşağıdaki gibi ama yinede gelmeye devam ediyor başka bir yol varmı engellemek için?
# robots.txt generated at www.invision-graphics.com/robotstxt_generator.html
User-agent: Slurp
Disallow:/
User-agent: yahoo-mmcrawler
Disallow:/