<li>
<a href="#"><?php echo $kategori_ad ?> </a>
<?php
if ($kategori_ust==0) { // buradaki koşula ekleme yapıp kategorinin alt kategorisi varmı bakmanız gerekiyor
echo '<ul class="nav-dropdown nav-submenu">';
} else {
echo '<ul>';
} ?>
<?php for ($i = 0; $i < $toplamSatirSayisi; $i++) {
if ($tumSonuclar[$i]['kategori_ust'] == $kategori_id) {
kategori($tumSonuclar[$i]['kategori_id'], $tumSonuclar[$i]['kategori_ad'], $tumSonuclar[$i]['kategori_ust']);
}
} ?>
</a>
</ul>
<?php } ?>
</li>

ilk koşulda yani if ($kategori_ust==0) { } bölümünde sadece ana kategori olup olmadığını kontrol ediyorsunuz burada ayrıca alt kategorisi var mı yok mu onuda kontrol etmeniz gerekiyor

örneğin

if ($kategori_ust==0 AND isset($tumSonuclar[$kategoriID]['kategori_ust'] )) { }

gibi