Tamam zaten mantıkta orda ya
Kaydı karşılaştırıyor kayıtlar birbirini tutmuyorsa veritabanında olmadığını anlayıp yeni kaydı ekliyor.
Senin verdiğin örnekte ise sonuç sıfırsa kayıt olmadığı için yeni kaydı ekliyor. Sonuç aynı mantık farklı
Böyle olmalı:

   <?php
$video_id = '64MMKYTiu'; 
$sonuc = mysql_query("Select video_id from TABLO where video_id = '$video_id'"); 
$satir = mysql_num_rows($sonuc); 
if($satir == 0){ 
    mysql_query("-- insert --"); 
    echo "eklendi"; 
    }else{ 
    echo "veri tabanında kayıtlı"; 
}
?>

Edit: limit 1 dememin sebebi kaydı bulduğunda diğer kayıtlarada bakmaması için. Limit 1 dediğimizde ilk kayda bakmıyor. Hepsine bakıyor ve bulduğu zaman altındaki kayıtları taramıyor. Limit 1 demezsek bulsa bile sonuna kadar tarıyor.