http:// şeklinde, boşluksuz olarak url doğruysa; robots.txt dosyasını kontrol et botları engelliyorsan giremiyorlardır sitene tarama yapamıyorlardır.

bundan başka alternatif olacağını sanmıyorum zaten