<?php wp_list_categories(); ?>
bunun ile zaten kategorileri çağırıyorsun. Css ile de ul ve li ye değer vererek yapabilirsin hocam.