Google'ın indekslemesi için robots.txt kullanmanıza gerek yok!! robots.txt nin amacı, indekslenmesini istemediğiniz sayfa veya blokları botlara söylemektir. Varsayılan olarak google sitenize geldiğinde site içeriğinize olan linkleri takip edip indeksleyecektir. indexleme ve(ya) reindex atma frekansını ise pagerank değeri belirler. Dolayısıyla index sorunu yaşıyorsanız, fresh content sunan sitelerden biraz backlink yardımı almanız yararlı olacaktır.

Kolay gelsin.