robot txt ile arama motorlarının görmezden gelmesini sağlayabilirsiniz. Ama sonrasında görmelerini istediğiniz zaman işiniz biraz zor olur.