dinamik proxy şeklinde dener misin?
silverlightın bir aracı ile servisi cs dosyasına çevireceksin (konum burası C:\Program Files (x86)\Microsoft SDKs\Silverlight\v5.0\Tools\SLsvcUtil.exe
)sonra o cs dosyasını projene ekle (direk olarak yaptığın add service/webservice yerine bu şekilde yapacaksın yani)

ardından hangi binder kullanmışsan onla ilgili manual olarak binding propertylerini ver ve sonra da endpointini oluşturup servisin kurucu metoduna ver.

o şekilde dene bakalım performans nasıl olacak dene bakalım. bizim şuan kullandığımız servisi böyle çalıştırıyoruz

eğer secure bir bağlantı ise sertifika ekleyin