Örümceklerin, site içindeki linkleri takip edip etmeyeceklerini gösteren metalardan birisi sadece.. İndexlenmesini istemediğin sayfalarda kullan bunuda , normalde sayfana bu tür birşey koymaya gerek yok bence.