yukardakine ilaveten bir de robots.txt den bazı dinamik file locationlarını kısıtlayabilirsin diyor.robotlar dinamik dosyalara girerek(php,asp) gibi makinenenin memory usageini(kullanımını) artırabilecegini söylüyor.