$sql = "SELECT * FROM users where (username='$username' or mail='$username') and password='$password'";

şeklinde olmalıdır, fakat bu şekilde giriş işlemi yaparken username ve mail verilerini benzersiz olarak kayıt edilmiş olması gerekiyor.
Ek olarak güvenlik açısından şifrelerini SQL'de saklarken ve geri çağırırken

$salt = "hernagibirkelime";
$salt_pw = md5(sha1($passwork.$salt));
$sql = "SELECT * FROM users where (username='$username' or mail='$username') and password='$salt_pw'";

kolay gelsin