meta tag içine header'a

<meta name="robots" content="noindex">

bu kodu koyun robots.txt de yer alan kod her zaman başarılı olmaz

bu şekilde indexleme yapabilir