En iyi çözüm şu:
Kamera çekimini bir program ile kaydedeceksin.
Bu arada aynı anda fraps ile oyunu kaydedeceksin.
Daha sonra bu ikisini sony vegasta birleştirip render edeceksin. Bu sayede video kusursuz olur. Çünkü 1 kez render olacak.
Fraps ile codecsiz kayıt aldığı için çok kaliteli bir video elde edilecek.
Sony vegasa bu videoyu atıp ardından video kamera çekimini sağ üste yerleştirip 1 kez render almak en iyisi.

Shadowplay yüksek kalitede kayıt alındıktan sonra birkez daha render edildiğinde video berbat oluyor.

Yukarıdaki yöntem en iyisi bence.

Bu arada ek bilgi vereyim. Shadowplay'e face cam ekleniyor. Kayıdı ben en düşük kaliteninde altında özel ayarlarda şu şekilde yaptım. İngame, 10Mbit bu ayarda bile görüntü cam gibi oluyor. Yanlış hatırlamıyorsam en yüksek kalite 50mbitte 1 dakika 200mb tutarken bu dediğim ayarda 1 dakikada 67 mb kayıt alınıyor. Üstelik görüntü müthiş oluyor yinede. 50mbit ile 10mbit shadowplay kayıt arasında farkı göremedim desem yeridir. Biri 5dk 1gb biri 5 dk 300mb filandı. Shadowplayde bu düşük orta yüksek kalite muhabbetinide anlamış değilim. En düşüktede en yüksektede görüntü aynı. Hiçbir fark görmedim ben cam gibi görüntü çıkıyor. Hatta en düşük kalite kayıt 22mbit iken ben özel kayıt ile 10mbit ayarla kayıt aldım görüntü müthişti. Direk bu video youtubeye atılabilir. Hiç sony vegasla uraşmadan. Sonuçta shadowplay bunu kaydederken 1 kez kendi render ediyor.

Ama eğer videoya intro muzik vs gibi şeyler ekliyeceksen ilk dediğim yöntemi yapmak lazım.