google gibi getir yap ayrıca kök dizinde bulunan robot txt dosyasından düzenlersen daha sağlıklı olur.