robots.txt ile olması lazım ama olmuyorsa en garantisi şifreli giriş yaparsan indexlenmez