Profesyonelce yapılmış bir robots.txt. Ben pek sorun göremedim ama diğer uzman arkadaşlar da baksınlar.