Dediğiniz gibi ayarlar yapılı fakat 5 dakika sonra kullanıcı düşmeye devam ediyor. Bu arada local'de böyle olmuyor fakat server'a attığımda bu şekilde oluyor
iis de çalışıyorsa ordan kontrol et ya da web.config varsa
<system.web>
<sessionState mode="InProc" timeout="30" />
</system.web>
deneyebilirsin. benim kendi kodumda
services.AddSession(options =>
{
options.IdleTimeout = TimeSpan.FromMinutes(40);
});şekilde kullanıyorum sağlıklı çalışıyor.