Kullandığınız eklenti sadece giriş yapan kullanıcılara siteyi açıyor. İstediğiniz şey bu değil anladığım kadarıyla. Bu eklentiyi silerek yerine WPS Hide Login eklentisini kurmalısınız.
https://wordpress.org/plugins/wps-hide-login/