robots.tx diye arat forumda ya da internette.
Google bota nasıl kapatacağınız ile ilgili bir sürü örnek bulabilirsiniz.
Nasıl bir cache sistemi kullandığınızı bilmiyorum ama yönlendirmeli değil include ya da readfile fonksiyonları ile çalışan bir yönlendirme deneyin.