Bu konuyla uğraşmıştım. Arama motorları botlarına ayrıcalık tanımayı unutma.