Robo.txt ne işe yarıyor?
Önemli bir şeyse siteme ekleyim.