Alıntı
User-agent: *
Disallow:

Sitemap: http://www.site.com/sitemap.xml.gz
fakat oluşturduğu robots dosyasında disallow diyor kendi kendine demekki adamlar bir şey diliyor