selam,

bu sekilde ekleyebilirsin

Dim regKey As Microsoft.Win32.RegistryKeyregKey
regKey = Registry.LocalMachine.OpenSubKey("SOFTWARE\Microsoft\Windows\CurrentVersion\Run", True)
regKey.SetValue("Uygulamanin Adi", "Exenin Yolu")
regKey.Close()

silmek icin de bu kodu cagirabilirsin

Dim regKey As Microsoft.Win32.RegistryKeyregKey
regKey = Registry.LocalMachine.OpenSubKey("SOFTWARE\Microsoft\Windows\CurrentVersion\Run", True)
regKey.DeleteValue("Uygulamanin Adi", False)
regKey.Close()

olmazsa buradaki konuya bak

http://stackoverflow.com/a/18895600/1276061

bir kac yol ile yapabilirsin.