Kaba bir şekilde yapıyorsanız düz html sayfalarınızda da veya php aynı sorun olur. React'ın seoya eksi bir yönü bulunmuyor. Bu Reactjs kullanımımın 4. senesi, şuana kadar böyle bir sorun yaşayan görmedim.

NextJs React üzerine geliştirilen bir yapıdır. Düz html çıktı almayacaksanız NextJs kullanmanız daha mantıklı. Onun dışında build süresi pure react'a oranla daha hızlı, gerçi bunu prereact veya vite ile aşabiliyoruz.

Next js mi node js mi sorusuna gelirsek; nodejs bir web framework değildir, runtime javascripttir. View engine kullanacaksan ayrı bir durum.

Özet; Amacınıza göre React veya NextJS kullanabilirsiniz. Nextjs'de yaptıklarınızı pure react ile de yapabilirsin. Yeni başladıysan veya çok tecrüben yoksa nextjs kullanımı daha kolay olur (ssr vb durumlarda). Next'i kullanmanı öneririm. Çoğu şirket şuan düz react kullanmıyor, genelde next olarak kullanıyorlar. Projeniz çok büyük değilse fark etmez pek.