robot dosyası mantıklı olur. böylece indexlenmez. eski indexler silinir belki zamanla.