Edit: arkadaşın robots.txt dosyası yoktu yardımcı olmaya çalıştım.