Site sanırım wordpress ama robots.txt biraz farklı geldi.

https://www.youtube.com/watch?v=7lGihWERr4Q
nasıl yapılır göz atabilirsiniz.