robotx.txt ile mümkündü sanırım.