Şarkıların türkçe ingilizce olduğunun tespiti - beyin fırtınası

Müzik ve Şarkı Sözü - Türkiye'nin Şarkı Sözü Arşivi - Yerli ve Yabancı Şarkı Sözleri - www.muzikvesarkisozu.com adında sitem var.
şu an içeriği hala artmaya devam ediyor 453795 tane şarkı sözü var

şimdi ben bunlari bir sonraki aşamada türkçe ve yabancı diye kategorilendirmek istiyorum.

Bunun için aklıma gelen mantık şu; php ile 1. kayıttan başlamak sureti ile şarkı sözünü alıp kelimelere böleceğim. Sonra sistem bana bulduğu kelimelerin Türkçe mi ingilizcemi olduğunu soracak. buna göre sorduğu kelimeler için Türkçe / İngilizce / Etkisiz şeklinde üç seçenek sunacak.(buda şöyleki bazı kelimeler özellikle kısa kelimeler için mesela it İngilizcemi Türkçemi - ikiside olabilir) Benim seçimime göre kelime tablosuna kaydecek bunu.

Daha sonra ikinci şarkıda bilmediklerini tekrar soracak. ve girdiğimi türe göre şarkı sözünün %kaç Türkçe %kaç ingilizce olduğunu kontrol edecek.

Benim verdigim yüzde dilimine göre mesela %90 ingilizce olması lazım diyecegim yada %90 Türkçe olması lazım. Bu kontrolü yapınca verdiğim orana uygunsa bunu Türkçe yada İngilizce olarak işaretleyecek.

Ama bunuda başaramazsa yani verdigim orana göre tutarlılık sağlayamazsa bana manuel olarak sunacak.

Tabi bu veritabanını oluştururken kelimelerin arama motoru açısından geçerliliğinide tayin edeceğim. mesela "the" kelimesi çok anlamlı bir kelime degil yada Türkçe olarak "ve" kelimesi çokta anlamlı değil. Bu kelimeleri şarkı sözünde en fazla geçen kelimeyi bulurken gözardı edecek.

sizin bu düşüncelerim hakkındaki farklı fikirleriniz nelerdir

ilgilenen arkadaşlara şimdiden teşekkürler

aslında mantığınız güzel fakat önerim şarkının sözleri yerine adı ile bu karşılaştırmayı yapmanız olacak. Şarkı adı kullnarak bu işşlemi bayağı hızlandırmış olursunuz. Eğer başlıktan yola çıkarak dil tahmin edilemeyecek bir şarkı çıkarsa bu sefer o şarkı için sözleri incelemek daha verimli olacaktır. Ayrıca eğer Türkçe ingilizce karakterler şarkılarda düzgün şekilde girilmiş ise, bünyesin ö, ş, ğ, ı, ü gibi Türkçeye özgü karakterleri barındıran şarkılar Türkçe, w, x, q ingilizceye özgü karakterleri barındıran şarkılarda ingilizce olacaktır.

Ayrıca size sormasındansa aklıma gelen ikinci bir yöntem şu oldu:
Google translate sitesine Detect Language -> English parametresi ile şarkı adını yada metnini yollarsanız, Türkçe bir metinde (Örnek olarak "Ali ata bak" yollanmıştır)
Google Translate

"We are not yet able to translate from Turkish into English." uyarısını verdi. Benzer parametrelerle bu sefer "i go to school" yazıldığında

Google Translate

Translation: English (automatically detected) » English

yazarak metni tekrar ekrana çıktı verdi.
Bu yolla çeviri işleminizin daha hızlı ve kullanıcıdan bağımsız ilerleyeceğini düşünmekteyim. Bu sistemde de tanımlanamamış bir metni sizin yönteminize tabi tutarsanız sanırım çok daha başarılı olacaktır.

İşiniz bittiğinde kulandığınız sistemi buradan paylaşırsanız benzer ihtiyaçları olan kişiler de faydalanmış olacaklardır.

Şimdiden başarılar diliyorum.

mantıklı bir yaklaşım. google translate in apiside var zaten. Ama bir diğer problem olarak Michael W Smith - I'll Be Around Şarkı Sözleri - Müzik ve Şarkı Sözü - Şarkı Sözü Siteniz adresine bakarsak. şarkıdaki geçen kelime sıklıklarınıda değerlendirmek istiyorum. Anahtar kelime çıkarımı için. Her türlü burdada kullanabilmek için bir kelime veritabanı oluşturmam gerekiyor aslinda

mesale the kelimesi anahtar kelimelerde hiç geçmemesi gerek çünkü anlamlı degil

dil tespitini gtanslate apisi ile yağtıktan sonra, önceden oluşturulmuş bir Türkçe bir de ingilizce ayarlanmış önemsizler listesi ile metni temizletmeniz yararlı olacaktır. Temizlenmiş haldeki metinden çıkarılacak kelime sıklıkları daha verimli sonuç verecektir.

işte Türkçe ve İngilizce önemsizler diye bir liste yok

onuda yapmak lazim yani. ee şarkılarda geçen neyin önemli neyin önemsiz olduğunu taramadan nasil bilcez

yoksa google translate api için hazırladığım video ders bile var forumda

türkçe şarkıların içinde mutlaka ç,ş,ğ,ü,ı geçecektir bunları şarkının içinde aratırsan çıkan sonucu tükçe diye ekrana yazdırırsın eğer bulunamazsa ingilizce olarak ekrana yazdırırsın denemek gerek.

internetten toplama olduğu için çoğu kimisinde Türkçe karakter kullanmadan yazilmis ama Türkçe karakter bulunmayanlar şüpheli İngilizce olarak değerlendirebiliriz. Mantıklı bir yaklaşım. lapsekiplevne dediği gibi direk şarkı adını ilk hedef seçip ikinci adim şarkı içeriğini inceleyip
kalanalarada beni algoritmayi uygulama olabilir aslinda

ozaman ingilizce şarkılarda mutlaka the, of, you vs vs geçecektir yukardakinin tam tersi yaparsan olur herhalde bunalr varsa ingilizce yoksa türkçe

demek istediğim ingilizce cümle yapısına göre kelime aratmak.

veritabanı yapısını bilmediğim için söyleyeceklerim zor ya da saçma olabilir belki ama şarkıcılara uyruk bölümü eklesen TC ve yabancı diye, sonra bu değeri varsayılan olarak yabancı desen, türkçe şarkıcıları da elle TC olarak değiştirsen (Türk şarkıcılar yabancılara göre daha azdır diye düşünüp böyle dedim) daha sonra da şarkıları sıralarken de where şarkıcı uyruk= tc dersin ?

192 sayfa şarkıcı var gerçi yapılır mı bilemiyorum ama Türk şarkıcılarla uğraşırsın en azından