Aslında 2. kodda degişkeni tırnak içerisinde yazmıyorsun. Aksine tırnak dışında yazıyorsun.
Tırnak açtığında kapatman gerekiyor. Yani sen tırnak açıyorsun string değerini yazıyorsun tırnak kapatıyorsun. Nokta koyuyorsun ki bundan sonraki komutları buna bitişik işle diyorsun. değişkenini yazıyorsun. Nokta koyarak bundan sonrakileri bitişik işle diyorsun. tırnak açıyorsun string değerini giriyorsun. Tırnak ile kapatıyorsun. Noktalı virgül ile o satırdaki kodlarını bitirdiğini bildiriyorsun.
Sırasıyla işleyecek olursak;

echo --> ekrana yaz
"Değişkendeki sayı ="  ---> Tırnak içerisindeki olduğu gibi yaz.
. ---> bundan sonraki komutları birleştirerek işle.
$degisken ---> tanımlanmış değişkeni yaz. (Komut echo olduğu için yaz demiş olduk. )
. ----> bundan sonraki komutları birleştirerek yaz.
"</br>" ---> Tırnak içerisindekileri yaz.
; ----> Bu komut bitti, diğer komutu işle :)

Diğer arkadaşların dediği gibi, " yerine ' de kullanabilirsin. Fakat, " kullanıyorsan yine " ile bitirmen gerekiyor. ' kullanıyorsan ' ile bitirmen gerekiyor.
İnşallah açıklayıcı yazmışımdır. Kolay gelsin.