Büyük miktarda kaydın eklenmesi

Merhaba arkadaşlar, c# ve Sql Server ile ilgili bir soru sormak istiyorum

Elimde xls formatında 550 adet dosya var ve bu dosyaların her birinde 20.000 kayıt bulunuyor.

ben bu kayıtları mevcut yöntemle veritabanına ekliyorum ama ortalama 1,5 ile 2 saat arasında bir zaman alıyor.

Benim sormak istediğim bunu hızlandırmanın bir yolu varmı, nasıl yapabilirim ?

c# ile exceli okuyup, içerisindeki kolonları mssql deki kolonlara denk gelecek şekilde hızlı bir şekilde kaydedebilirsin. 30.000 adet kaydı yaklaşık 2-7 sn ye aktarabiliyordum ben

Nasıl yaptınız hocam, ben bulkinsert kullanıyorum.

Kodunuzu optimize yaparak hızlandırabilirsiniz, bunun içide Thread kullanabilirsiz. Muhtemelen .xls dosyalarını tek tek okuyorsunuz. Thread ile paralel okuyabilir, böylece zamandan tasarruf edebilirsiniz.

Benim işlemim biraz farklıydı ama şu mantığı kullanmıştım. C# ile win form üzerinde exceli okutup (excelde bulunan kolonların mssql aktarırken belli bir koşulları vardı tabi) kaydet dediğimde excel içerisindeki tüm kayıtları satır bazında tek tek dönüp mssqle ilgili satıra yazıyordu. Yazdığımda bulk inserte gerek duymadan asycn ile ado yöntemi ile yapmıştım. Sen async gerek duymadan ado ile direkt yapabilirsin. Umarım anlatabilmişimdir

async kullandım ama pek verim alamadım, ben delete insert kullanıyorum acaba başka bir yolu var mı ?


xls dosyası günlük olarak güncelleniyor. bir önceki gün verisi ile bir sonraki gün verisi çoğunlukla aynı olmuyor. ve her birinde 20.000 kayıt oluyor. ve bunun gibi 550 tane var.

Veritabanına Excel dosyalarını import et sonra SQL koduyla istediğin tabloya insert/update edebilirsin. SQL ile yapabilirsin arada yazılım dili kullanmana gerek bile yok.

Merhaba,
Bi Yöntem olarak,
Excel sayısı fazla olduğu için, her excel de işlem (edit) yapmak yerine, formata uygun ara tablo oluşturup import et

-programlama ile (c#, php vs ile ara uygulama yapabilinir)

Yöntemlere ilişkin:
İmport esnasında (trigger ile) yada sonrasında t-sql kodları ile bir script oluşturabilirsin
- while ile döngü
- eşlenecek tabloya instert yada update (uygun koşulla)
- (varsa) ara tabloda delete (uygun koşulla)


Tapatalk kullanarak iPhone aracılığıyla gönderildi

bu çözümleri deneyip bakayım nasıl bir fark olacak.