Excel sıkıntılı bir program olduğu için kütüphane kullanmanız daha uygun olacaktır. PHPSpreadsheet adındaki kütüphaneyi daha önce kullanmıştım. Kullanımı kolay diyebilirim:

require 'vendor/autoload.php';

use PhpOffice\PhpSpreadsheet\Spreadsheet;
use PhpOffice\PhpSpreadsheet\Writer\Xlsx;

$spreadsheet = new Spreadsheet();
$sheet = $spreadsheet->getActiveSheet();
$sheet->setCellValue('A1', 'Hello World !');

$writer = new Xlsx($spreadsheet);
$writer->save('hello world.xlsx');

mysql tarafından verileri aldıktan sonra döngüye almanız gerekecek. Türkçe karakter vb sorunlar ile uğraşmak zorunda kalmazsınız