Dediğiniz gibi yaptım fakat şimdide dosya bulunamadı diyor. Yaptığım şey şu:

  if (isim.Text == satirlar[0])
                        {
                            satir.Replace(satirlar[0], "");
                            satir.Replace(satirlar[1], "");
                            satir.Replace(satirlar[2], "");
                            StreamWriter yaz = new StreamWriter("rehber.txt");
                            yaz.WriteLine(satir);
                            MessageBox.Show("Seçtiğiniz isimdeki değerler silindi.","bilgi");
                        }

Ben kayıt eklerken aşağıdaki gibi diez işareti koydum ayırt etmek için acaba bunun için bir sıkıntı olabilir?

Kayıt eklerken kullandığım ifadeler:

 string satir = isim.Text;
            satir += "#" + soyisim.Text;
            satir += "#" + telefon.Text + "#\n";

            FileStream fs = new FileStream(".\\rehber.txt", FileMode.Append);
            StreamWriter sw = new StreamWriter(fs);
            sw.WriteLine(satir);
            sw.Close();
            MessageBox.Show("Ekleme başarılı");
            this.Close();