bunlar yapılabilir ama google botuun sitemizi görmesi için bişekilde biyerlerden ulaşması lazım...

disallow ederek de örümceğin görmesini istemediklerimizi googlea bildirmiş oluruz...

Asıl kullanım amacı istenmeyen gizli sayflarla ilgilidir.Mutlaka gizlenmesi gerekir örneğin yönetim panelleri...