Aslında birden fazla yöntem bulunuyor.
http://php.net/chdir ilede dizini değişebiliriz ve yine sorunsuz şekilde dosya ekleyebiliriz.
Dosyaların en üstüne

chdir('../kutuphane');

şeklinde yazarak dizini değiştirebiliriz.

footer.php ve header.php dosyalarının /home/benimsitem/kutuphane/ dizininde olduğunu varsayarsak yine
/home/benimsitem/public_html/index.php içeriği

<?php 
chdir('../kutuphane/');
require_once('header.php'); 
require_once('footer.php'); 
?>

/home/benimsitem/public_html/galeri/index.php içeriği

<?php 
chdir('../../kutuphane/');
require_once('header.php'); 
require_once('footer.php'); 
?>