Office Yüksek Boyutlu Veri Ayıklama Konusunda Yardım

Merhabalar 500.000 Satırlı bir Verim Var Boyutu Ortalama 150 MB bu datalar arasında yinelenen degerleri ayırıp işlem yapmam gerekiyor fakat çok kasıyor çok geç düzenliyor bazen düzenlemeden takılıyor bunun için nasıl bir sunucu almam gerek nasıl bir yol izlemeliyim bilgisi olan varsa ücretli veya ücretsiz dönüş bekliyorum

Sorunuzdan excelde işlem yapmaya çalıştığınızı anlıyorum.
Öyle ise, İçinde veri olmadan sütun başlıklarının yer aldığı excel dosyası gönderirseniz yardımcı olabilirim.
Yinelenen değerler için hangi sütun veya sütunların dikkate alınacağını belirtiniz.
Bunun için sunucuya gerek yok.

Merhabalar,verileri excel üzerinden işlediğinizi varsayıyorum.500.000 satır ve 150 mb büyüklüğündeki bir dosyada yavaşlama yaşanması normal olabilir ancak doğrudan sunucu almanız şart değil.Özellikle yinelenen verilerin tespiti ve temizlenmesi için excelin power query özelliğini kullanabilirsiniz.Bu yöntem,yoğun formül kullanımına göre daha verimli olabilir.Ayrıca 64 bit office, yeterli ram ve ssd kullanımı da önemlidir.Mevcut bilgisayarınızın işlemci, ram ve disk özelliklerini,ayrıca kullandığınız office sürümünü paylaşırsanız donanım yükseltmesi mi yoksa yazılımsal optimizasyon mu gerektiğini daha net değerlendirebiliriz.

Bunun için sunucu almanıza gerek yok, önce Dosya > Hesap > Excel Hakkında kısmından Office'in 64 bit olduğuna bakın çünkü 32 bit sürüm bu boyutta kolayca bellek sınırına takılabiliyor. Daha hızlı yol dosyayı CSV UTF-8 olarak kaydedip ücretsiz DuckDB ile açmak, hangi değerlerin tekrar ettiğini görmek için SELECT kolon, COUNT(*) FROM 'veri.csv' GROUP BY kolon HAVING COUNT(*) > 1 sorgusunda kolon yerine kontrol edeceğiniz sütunu yazmanız yeterli. Tüm satırı tekilleştirmek isterseniz COPY (SELECT DISTINCT * FROM 'veri.csv') TO 'temiz.csv' (HEADER, DELIMITER ';') ile yeni dosya çıkar, noktalı virgül ayracı sayesinde Excel'de sütunlar düzgün açılır ve işlem Excel'e göre çok daha hızlı biter.

Merhaba, 500.000 satır (150 MB) veri için sunucu kiralamanıza hiç gerek yok; Excel tüm hücreleri RAM'e yüklediği için donma yapıyor. Kendi bilgisayarınızda kod/SQL uğraşmadan istediğiniz sütunlara göre 500 bin satırı 3-5 saniyede tekilleştirip yinelenenleri ayrı dosyaya ayıran Türkçe arayüzlü masaüstü aracı için aynı gün (1-2 saatte) teslim teklifimi PM üzerinden ilettim. İyi çalışmalar.
Web: o2io.com.tr | WhatsApp İletişim: +90 501 703 70 04