Önemli sayfalar varsa kapstmayın. Robot.txten engelleyin. İnternette anlatımını bulursunuz