#
# robots.txt
#
User-agent: Googlebot
Disallow: /
#
User-agent: *
Disallow: /
#


kullanmadığın domaini yönlendir, yönlendirdiğin domaini robots.txt dosyasına üstteki kodu yaz

yada

User-agent: *
Disallow: ~deneme

klasöre izin verme