@pastelrenk;
session ve cookie yi nereye atıyacaksın. Yani google botu tanıma amaçlımı yapacaksın tam olarak anlayamadım.Ama php ile geliştirilebilir. "QUERY_STRING" ile adresleri çekersin

$text = $_SERVER['QUERY_STRING'];
$veri = implode(' ', $_GET);
if(preg_match( "#?yer|?yerler|?adres#si",  $veri))
{
//dosya işlemleri ile robots.txt eklerin v.s.
}

Bu şekilde olabilir gibi geldide paylaşmak istedim.Belki sende biliyorsundur.Ama büyük bir sunucuda oldukça kasar. Daha iyi bir fikir geliştirmen lazım bence veyahutda bunun daha kolay bir çözümü olmalı.Bu arada neden bu kadar önemli indexlesin ne olucakki Spammı yapıyorsun yahuu :P