RecyclerView in amacı o zaten. Kasmaması için resimleri optimize etmelisiniz. Bunun için Picasso kütüphanesini kullanabilirsiniz.