robots dosyasında indexlenmesini istediğiniz sayfaları yazmanıza gerek,
arama motorları sizin robots'da berlirtmediğiniz içeriği otomatik indeksler zaten.

robots dosyasında genelde indexlenmesini istemediğimiz içeriği yazıyoruz.