Dediğin gibi basit şekilde olduğu için zaten sorgun yavaş geliyor. Take Skip ile sayfalı bir şekilde getirmen lazım.
Kendi yapını kurman lazım hazır jquery datatables ile bu işler olmaz.