robots.txt; sitenin nerelerinin indexlenip, nerelerinin indexlenmeyeceğini Google'a bildirmek için önemli ve gerekli bir SEO kriteridir. Ancak robots.txt oluşturduğunuz için site anında index alacak değildir. Yeni sitelerde indexlenme hemen olmaz. Bir süre düzenli olarak özgün içerik girişini sürdürün, Google sitenize yeteri kadar güvendiğinde hızlı indexleme başlayacaktır. Bunu tetiklemek için ping servislerini ekleyip, abartmadan 1-2 otoriter siteden tanıtım yazısı almanızı öneririm.