Tema bileşenli ise wp-admin den yapabilirsin

değil ise sidebar.php dosyasını notepad++ ile reklam ekleyebilirsin

divlere dikkat ederek ekle kayma vs olmasın.