robot.txt'ye bakın. Engellenmesi için bir kod olabilir.