tam emin değilim ama robots.txt varken daha geç indexleniyordu bende, eğer robots.txt varsa kaldır derim ben
robots.txt dosyası botların indekslemeyeceği dosyaları belirlemek için kullanılır.
Tutup da bütün klasörlerinizi bu dosyaya kaydederseniz indekslenmemesi normal.
Google bu tagi yok sayıyor. PR oranına göre botlar daha sık aralıklarla sitene girerler.
Tek kriter o olmasa gerek.
Benim 2 tane PR4 sitemin birinde GoogleBot hiç eksik olmazken birine çok az geliyor. Backlink vs. gibi kriterler de etkiliyor GoogleBot'un gelmesini.