sadece robots.txt koyarak siteni hemen indexletemezsin.

Faydasını göreceğin, indexlenmeyi info almayı hızlandırmak için birkaç adım anlatayım

1- Robots.txt kullan
2- Siteni Google a bildir
3- Webmaster tools a siteni ekle
4- Webmaster tools tan siteni doğrula

buradan Google a siteni bildirebilrisin.
http://www.google.com.tr/intl/tr/add_url.html

google a webmaster tools yazarak webmaster toolsa giriş yapabilir ( gmail hesabınla) sonra siteni ekleyebilirsin.

Umarım faydalı olabilmişimdir.