Merhaba, özel yazılımımda az önce robots.txt'de admin sayfasını ve diğer dosyaları başkasının erişememesi ve yanlışlıkla bulamaması taramasını engelleyecektim. Fakat aklıma xx.com/robots.txt şeklinde ulaşılabildiği geldi. Eğer biz bu sayfaları buraya yazarsak kendi elimizle kötü niyetli kişilere vermiş oluyoruz. Bu nedenle aşağıdaki gibi bir kod var, sayfanın meta taglari arasına eklenebilir:

  <meta name="robots" content="noindex">

Bu konu hakkında görüşlerinizi merak ediyorum.