Robots txt den düzenlemen en mantıklısı
Sadece istediğin sayfaları taramasını belirtmiş olursun.