dpkg -l | grep -i mysql ile kurulu olan mysql paketlerini görebilirsin.
apt-get --purge remove mysql\* ile lib ve config dosyaları dahil mysql'u komple silebilirsin.
apt-get clean ile kaynak ön belleğini temizleyebilirsin.

dpkg --configure -a komutu ile dpkg'yı yeniden konfigure edebilirsin.

Bu arada dotdeb.org depolarını kullanırsan php,mysql,redis için gayet stabil.
Daha sonra mysql kurmak için apt-get install mysql-server yazmanız yeterli.