Robots veya sitemap dosyaları arama motorlarına bildirmek için kullanılır. Indexlemek yine arama motoruna kalmış bir durumdur. Sitenizi özelden yollarsanız bakalım.