Sayfaları kalıcı olarak kaldırmak için google'un önerdiği dökümanda robot.txt kullanmayın diyor. Ben hiç robot.txt'ye bulaşmadım. https://support.google.com/webmaster...make_permanent

Anladığım kadarıyla robot.txt, sayfaların botlar tarafından taranmasını engelliyor. Sayfaların google'dan tamamen kaldırılmasını sağlamıyor. Ki zaten bu sebepten olsa gerek Google yukarıda gönderdiğim dökümanda da robot.txt yi kullanmayın yazıyor