User-agent: *
Allow: /

Buda kullanılabilir.


User-agent: *
Disallow /

yapılırsa tüm siteyi engelle dersin

/ işaretini koymazsan

Botların istisnasız indexlenmesine izin verirsin.

Büyük bir ihtimal arkadaşın robots. dosyasında Disallow /
yapılmış o bakımdan User-agent: *
Disallow

yapmasını istedim.

Ben böyle biliyorum yanlışım da olabilir.