İlk olarak autoscale'i false yapıp deneyin, olmazsa fancybox'ta oncomplete fonksiyonu var. Onunla ayarlayabilirsiniz.

'onComplete' : function() {
    $('#fancybox-content').height(777);
});