@sefasaid;

$mail->Send();
$mail->ClearAddresses();
$mail->ClearAttachments();

anladığım kadarıyla döngü her döndüğünde send ile mail gönderiyorsunuz bu yüzden yavaş olabilir. üstteki 3 satırı döngü dışına alıp dener misiniz. yani döngüde sadece addaddress ile mail adreslerini tanımlayıp gönderimi tek seferde yapabilirsiniz. yani alttaki gibi:

foreach($veri as $maile)
{
    $mail->AddAddress($maile);
}
$mail->Send();
$mail->ClearAddresses();
$mail->ClearAttachments();

ek bilgi: bu gönderimde giden maillerde tüm mail adresleri gözüküyorsa addadress ile döngü dışında tek bir adres belirtebilir örneğin toplumail@sizindomain.com gibi döngü içindede AddBCC fonksiyonuyla bcc şeklinde diğer adresleri eklerseniz giden maillerde diğer mail adresleri gözükmez.