En sonunda şu eklenti ile hallettim.
https://wordpress.org/plugins/bulk-seo-image/

Bir kere calistirmaniz durumunda tum eski resimlerin html kodlarina alt tag ekliyor. Sonrasinda eklentiyi kaldirabilirsiniz.