ana dizinde robots.txt dosyası oluşturun.
User-agent: *
Disallow:
Disallow: /admin/

şeklinde ekleyebilirsiniz.

örnek : https://www.r10.net/robots.txt
ayrıca googlede robots.txt şeklinde aratarak
detaylı inceleyebilirsiniz.