@NetBlogi İzin verilecek listesi hazırlayıp daha sonrada bu şekilde bir robots.txt hazırlayıp robotlar için izin verdiğiniz sayfalar dışındaki yerlere erişimi engelleyebilirsiniz.