Resource olarak bir ses dosyasını programınız içerisine alın. Butonun click eventine şu kodları kullanın.

My.Computer.Audio.Play(My.Resources.sesDosyasi, AudioPlayMode.Background)

sesDosyasi yazan yer müzik dosyanızın adıdır.