robot.txt içinde ne yazdığını buraya yazarsan bi bakalım.