Sitenizde taranmasını istemediğiniz URL'leri (örneğin admin panelini) vs. Robots.txt dosyanız üzerinden engelleyebilir, site haritanızı da belirtecek şekilde bir oluşum sağlayabilirsiniz.